Az Örnekle Öğrenme Problemleri için MAML ve ProtoNet Algoritmalarının İncelenmesi

Abstract

Derin sinir ağları ile özellikle görüntü veri kümeleri üzerinde çok başarılı sonuçlar elde edilmektedir. Ancak bu başarının arkasında büyük ölçekli etiketli veri kümeleri yatmaktadır. Derin öğrenme ağlarının özelleşmiş bir türü olan evrişimli sinir ağları birçok görüntü tanıma görevlerinde çok iyi sonuçlar vermiş ve görüntüleri modellemek için standart araçlar haline gelmişlerdir. Özellikle ImageNet gibi büyük ölçekli veri kümelerinin kullanılmaya başlanmasıyla geliştirilen ağların başarıları daha da artmıştır. Ancak ImageNet gibi büyük bir veri kümesi oluşturabilmek maliyetli olması nedeniyle pek kolay değildir. Eldeki problem ile ilgili çok sayıda örnek toplanamadığı durumlarda kullanılan sinir ağı yeterince iyi eğitilememekte, dolayısıyla istenen başarı elde edilememektedir. Bu nedenle derin sinir ağlarının genelleme yeteneklerinin geliştirilmesi ve büyük etiketli veri kümelerine olan ihtiyacın azaltılması çok önemlidir. Tasarlanan bir makina öğrenmesi modelinin büyük bir veri kümelerine ihtiyaç duyulmadan, az sayıda örnekle ve önceki görevlerden öğrenilmiş olan meta-bilgilerle genelleştirme kabiliyetinin artırılması ve aynı zamanda yeni görevler için hızlı adaptasyon sağlanması meta-öğrenme ile gerçekleşebilir. Meta-öğrenme algoritmalarında hızlı öğrenme iki aşamada gerçekleştirilir; ilk aşamada meta-bilgiler çıkarılır, ikinci aşamada ise bu meta-bilgiler kullanılarak yeni görevlere hızlı adaptasyon sağlanır. Derin sinir ağları temelli meta-öğrenme yaklaşımlarının az örnekli görüntü veri kümelerinde başarılı sonuçlar vermesiyle meta-öğrenme kavramı tekrar önem kazanmış; özellikle az örnekle öğrenme problemleri için literatürde çok sayıda yeni algoritma ortaya çıkmaya başlamıştır. Bu çalışmada, literatürdeki başarılı meta-öğrenme algoritmalarından Model-Agnostic Meta-Learning (MAML) ve Prototypical Networks (ProtoNet) algoritmaları az örnekle öğrenme problemlerine uygulanarak performansları incelenmiştir. Veri kümesi olarak literatürde az örnekle öğrenme problemleri için oluşturulmuş MiniImageNet ve CIFAR100 görüntü veri kümeleri kullanılmış; farklı metaöğrenme parametreleri ve farklı algoritma hiper-parametreleri için algoritmaların verdikleri sonuçlar değerlendirilmiştir. Buna göre, MAML algoritmasının örnek sayısının daha az durumda ProtoNet’ ten daha iyi sonuçlar verdiği; ancak ProtoNet’ in fazla örnek durumunda daha iyi genelleme yapabildiği belirlenmiştir. Bu durum, MAML algoritmasının bütün sınıfları ayırt edebilecek nitelikte genel başlangıç ağırlıklarını öğrenmeye çalışması; ProtoNet algoritmasının ise her bir sınıfı daha iyi temsil edebilmek için her sınıfa ait farklı bir prototip bulmaya çalışması ile açıklanabilir.

Deep neural networks have proven to be very effective for image-related problems. However, their success is mainly attributed to the large-scale annotated datasets that have been used to train them. Convolutional neural networks which are special type of neural networks have achieved very good results for visual recognition problems and therefore have become the standard tool for these tasks. The use of large-scale annotated datasets like the ImageNet have even improved the results obtained by these networks. However,creating an annotated dataset of that scale is very difficult due to its cost. In some cases, even if there are enough resources, it is sometimes impossible to obtain such large datasets. It is shown that the neural networks cannot be trained well if there is not enough training data. As these networks require large amounts of annotated data to be able to generalize well, it is very important to develop new models that can be trained well even if the training data is not abundant. Meta-learning paradigm addresses this problem of fewshot learning by proposing models that can utilize the experience from the previous tasks to learn new tasks. Meta-learning algorithms gain the fast adaptation ability by using the meta-data obtained from the previous tasks. The meta-learning concept has regained its popularity after the success of some deep neural networks-based meta-learning algorithms for the few-shot image classification problems. In this study, two meta-learning algorithms, namely, Model-Agnostic Meta-Learning (MAML) and Prototypical Networks (ProtoNet) are applied to few-shot learning problems and their performance is evaluated. MiniImageNet and CIFAR100 few-shot learning image classification datasets have been used as the test bed, and the two algorithms have been evaluated under different meta-learning and algorithm hyper-parameter settings. The results suggest that MAML results in better classification accuracy than ProtoNet when the number of shot is taken as 1, and ProtoNet results in better accuracy when the number of shot is increased. The main reason for this is that while MAML tries to find common initial weights that can easily distinguish all classes, ProtoNet tries to find a different prototype for each class, and the number of shots definitely increases the representation power of that prototype.