Az Örnekle Öğrenme Problemlerinde Derin Öğrenme Temelli Meta-Öğrenme Algoritmalarının Karşılaştırılması

Abstract

Meta-öğrenme, literatürde daha çok öğrenmeyi öğrenme olarak dikkat çekmektedir ve bunun temel sebebi ise makine öğrenmesi yaklaşımlarının eğitim sürecini daha önceki eğitimlerden elde edilmiş olan genel özellikleri kullanarak kısaltmayı amaçlamasıdır. İnsanlardan örnek vermek gerekirse, yeni bir konuyu öğrenirken daha önceki benzer konularla ilişki kurarak önceden elde etmiş oldukları bilgiyle birlikte yeni konuyu öğrenme sürecini az sayıda örneğe bakarak başarılı bir şekilde tamamlarlar. Aynı şekilde, makine öğrenmesi algoritmalarının her defasında büyük bir veri kümesine ihtiyaç duymaksızın, az sayıda örnekle ve önceki algoritmalardan öğrenilmiş olan meta-bilgilerle yeni görevler için daha hızlı bir şekilde genelleştirilebilmesi meta-öğrenme sayesinde mümkündür. Meta-öğrenme algoritmaları iki ana işlem içermektedir ve bu işlemler için iç içe iki döngüye sahiptir. Dışarıdaki döngüde görevler hakkında genel özellikler öğrenilmeye ve genel bilgiler çıkarılmaya çalışılırken, içerideki döngüde ise yeni gelecek olan görevlere daha çabuk adapte olmaya çalışılır. Dışarıdaki döngüde çıkartılan genel özellikler sayesinde, içerideki adaptasyon sürecinin daha kısa ve daha doğru sonuçlar elde etmesi sağlanır. MAML ve ProtoNet gibi, literatürde karşılaştırma için çokça kullanılmakta olan meta-öğrenme algoritmalarının, az örnekle öğrenme problemlerine uygulanarak Omniglot, MiniImageNet, CIFAR100 ve CUB gibi birden fazla veri kümesi üzerinde elde edecekleri sonuçlar ayrıntılı incelendi. Bu sonuçlara bakarak meta-öğrenme hakkında, kullanılan algoritmalar (MAML ve ProtoNet) ve veri kümeleri (Omniglot, MiniImageNet, CIFAR100 ve CUB) hakkında çıkarımlar yapıldı. MAML algoritması için; eğitim ve test sürecindeki adım sayıları, adım genişliği gibi parametreler farklı yol sayısı (way) ve örnek sayısı (shot) yapılandırmaları üzerinde test edilmiştir. Örnek sayısı 1 olarak alındığında MAML algoritması daha başarılı sonuçlar elde ederken örnek sayısı 5 olarak alındığında ise MAML ve ProtoNet algoritmaları yaklaşık olarak benzer sonuçlar elde etmişlerdir.

Meta-learning stands out as “learning to learn” in the literature, and aims to shorten the training process of machine learning approaches by using the general features obtained from previous training. For example, while people learn a new subject, they successfully complete the process of learning the new subject with a few examples by and establishing a relationship with the previous similar topics and the knowledge they have previously obtained. Likewise, machine learning algorithms can be quickly generalized for new tasks with a few training examples and knowledge learned from previous training examples without the need for a large data set each time. Meta-learning algorithms involve two main processes and have two nested loops for these processes. While trying to learn general features in the outer loop about the tasks and to get general information, it is tried to adapt to the new tasks more quickly in the inner loop. By this way, learned general features in the outer loop makes the adaptation process inside shorter and ensures it gets more accurate results. Meta-learning algorithms, such as MAML and ProtoNet, which are widely used in the literature are applied to few-shot learning problems and the obtained results examined in detail on multiple data sets such as Omniglot, MiniImageNet, CIFAR100 and CUB. Based on these results, inferences about meta-learning,algorithms (MAML, ProtoNet) and datasets (Omniglot, MiniImageNet, CIFAR100 and CUB) were made. Parameters such as number of gradient steps and step size in the training and testing were tested on different way and shot configurations for the MAML algorithm. While MAML obtained more successful results when the number of shot is taken as 1, MAML and ProtoNet algorithms obtained approximately similar results when the number of shot was taken as 5.