Few-shot learning for image classification

Cui, Yawen (2023-10-10)
 
Avaa tiedosto
Lataukset: 


Cui, Yawen
University of Oulu
10.10.2023
Tämä Kohde on tekijänoikeuden ja/tai lähioikeuksien suojaama. Voit käyttää Kohdetta käyttöösi sovellettavan tekijänoikeutta ja lähioikeuksia koskevan lainsäädännön sallimilla tavoilla. Muunlaista käyttöä varten tarvitset oikeudenhaltijoiden luvan.
Näytä kaikki kuvailutiedot
Julkaisun pysyvä osoite on
https://urn.fi/URN:ISBN:9789526238111

Kuvaus

Academic dissertation to be presented with the assent of the Doctoral Programme Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in the OP auditorium (L10), Linnanmaa, on 17 October 2023, at 12 noon
Tiivistelmä

Abstract

Humans, even children, can acquire abundant information from limited data, while current deep learning techniques are data-hungry and cannot rapidly generalize from a few samples. Inspired by human intelligence, Few-Shot Learning (FSL) has emerged, aiming to solve target tasks with only a few labeled examples. As a hypothesis in FSL, a large auxiliary labeled dataset is required for offline training first, and then the acquired knowledge is transferred to the downstream FSL task. Notably, another gap between humans and machines is that humans can constantly perceive and learn new concepts without forgetting previous knowledge. Even using FSL techniques, the trained model still suffers the catastrophic forgetting issue. This thesis contributes to the research on Few-Shot Learning (FSL) for image classification from two aspects: 1) Unsupervised FSL (UFSL): How to transfer prior knowledge learned from a fully unlabeled auxiliary dataset to novel tasks with a few examples? 2) Few-Shot Continual Learning (FSCL): How to continually learn FSL tasks?

In the first part of this thesis, one meta-learning-based method is proposed to explore the coarse-to-fine pseudo supervision from the unlabeled auxiliary dataset for the downstream FSL task, which is deemed as more comprehensive supervision than previous methods. This method aims to optimize the meta-task sampling process in the unsupervised meta-training stage, which is one of the dominant factors for improving the performance of meta-learning-based FSL algorithms.

In the second part of this thesis, the research on FSCL mainly focuses on three aspects: (1) The configuration of Few-Shot Class-Incremental Learning (FSCIL). Targeting the unresolved issues, the FSCIL is reconfigured with the open-set hypothesis by reserving the possibility in the first session for incoming categories. (2) Semi-supervised FSCIL (Semi-FSCIL). The pioneering Semi-FSCIL work is conducted, which requires CNN models incrementally to learn new classes from very few labeled samples and a large number of unlabeled samples. To handle the adaptability issue brought by unlabeled data, two uncertainty-aware methods are proposed to explore the upper bound of performance improvement with unlabeled samples. (3) Generalized Few-Shot Continual Learning (GFSCL). A more practical protocol is set up considering both class- and domain-incremental situations together with the domain generalization assessment. Subsequently, a rehearsal-free framework for GFSCL based on Vision Transformer (ViT) is further established.

 

Tiivistelmä

Ihmiset, jopa lapset, kykenevät hankkimaan laajan määrän tietoa rajatusta datasta, mutta tämänhetkiset syväoppimistekniikat vaativat paljon dataa eivätkä pysty generalisoimaan muutamasta näytteestä. Inspiroituneena ihmisen älykkyydestä on kehitetty pieneräoppimista, jonka tarkoituksena on ratkaista ongelmia vain muutamalla näytteellä. Pieneräoppiminen käyttää hyödykseen suurta ylimääräistä tietolähdettä esiopetukseen, josta tieto siirretään haluttuun ongelmaan. Toisena ongelmana ihmisten ja koneiden välillä on se, että ihmiset voivat jatkuvasti havainnoida ja oppia uusia konsepteja ilman vanhojen unohtamista. Koneoppimismallit kärsivät katastrofaalisen unohtamisen ongelmasta, vaikka käytettäisiin pieneräoppimista. Tässä väitöskirjassa esitetään seuraavat ratkaisut pieneräoppimisen tutkimukseen. Ensimmäiseksi esitellään ohjaamaton pieneräoppiminen: miten siirtää ennalta opittu tieto luokittelemattomasta tietolähteestä uuteen tehtävään käyttäen vain muutamaa näytettä? Toiseksi jatkuva pieneräoppiminen: miten oppia jatkuvasti eri pienerätehtäviä?

Ensimmäisessä osassa tätä väitöskirjaa esitellään metaoppimiseen perustuva tekniikka, joka käyttää hyödykseen karheasta yksityiskohtiin lähestymistapaa esiopetuksessa, mikä on kattavampi edellisiin tekniikoihin verrattuna. Esitetty tekniikka pyrkii optimoimaan metatehtävän näytteistystä esiopetus vaiheessa, mikä on yksi hallitsevista tekijöistä meta-pieneräoppimistekniikoiden suoritustehokkuuteen.

Väitöskirjan toisessa osuudessa esitellään jatkuvaa pieneräoppimista kolmesta eri näkökulmasta. 1) Inkrementaalisen pieneräoppimisen asetelma määritellään uudelleen käyttäen avoimen joukon hypoteesia, mikä mahdollistaa uusien luokkien käytön ensimmäisessä tilanteessa. 2) Osittain ohjatussa inkrementaalisessa pieneräoppimisessa malli oppii inkrementaalisesti uusia luokkia hyvin pienestä määrästä luokiteltua dataa ja suuresta määrästä ei-luokiteltua dataa. Luokitellun ja ei-luokitellun datan sopeutuvuus ongelmaan esitetään kaksi epävarmuutta huomioivaa tekniikkaa. 3) Käytännöllisempää protokollaa käsitellään generalisoidussa pieneräoppimisessa, jossa ongelmana on sekä luokkien että alueiden inkrementaalinen oppiminen. Sen lisäksi esitellään harjoitteluvapaa viitekehys generalisoituun pieneräoppimiseen.

 

Original papers

Original papers are not included in the electronic version of the dissertation.

  1. Cui, Y., Liao, Q., Hu, D., An, W., & Liu, L. (2022). Coarse-to-fine pseudo supervision guided meta-task optimization for few-shot object classification. Pattern Recognition, 122, 108296. https://doi.org/10.1016/j.patcog.2021.108296

    Self-archived version

  2. Cui, Y., Yu, Z., Peng, W. & Liu, L. (2023). Rethinking few-shot class-incremental learning with open-set hypothesis in hyperbolic geometry. Manuscript submitted for publication.

  3. Cui, Y., Xiong, W., Tavakolian, M., & Liu, L. (2021). Semi-supervised few-shot class-incremental learning. In 2021 IEEE International Conference on Image Processing (ICIP), 1239–1243. https://doi.org/10.1109/ICIP42928.2021.9506346

    Self-archived version

  4. Cui, Y., Deng, W., Xu, X., Liu, Z., Liu, Z., Pietikainen, M., & Liu, L. (2022). Uncertainty-guided semi-supervised few-shot class-incremental learning with knowledge distillation. IEEE Transactions on Multimedia. Advance online publication. https://doi.org/10.1109/TMM.2022.3208743

    Self-archived version

  5. Cui, Y., Deng, W., Chen, H., & Liu, L. (2023). Uncertainty-aware distillation for semi-supervised few-shot class-incremental learning. IEEE Transactions on Neural Networks and Learning Systems. Advance online publication. https://doi.org/10.1109/TNNLS.2023.3277018

  6. Cui, Y., Yu, Z., Cai, R., Wang, X., Kot, A., & Liu, L. (2023). Generalized few-shot continual learning with contrastive mixture of adapters. Manuscript submitted for publication.

 

Osajulkaisut

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon.

  1. Cui, Y., Liao, Q., Hu, D., An, W., & Liu, L. (2022). Coarse-to-fine pseudo supervision guided meta-task optimization for few-shot object classification. Pattern Recognition, 122, 108296. https://doi.org/10.1016/j.patcog.2021.108296

    Rinnakkaistallennettu versio

  2. Cui, Y., Yu, Z., Peng, W. & Liu, L. (2023). Rethinking few-shot class-incremental learning with open-set hypothesis in hyperbolic geometry. Manuscript submitted for publication.

  3. Cui, Y., Xiong, W., Tavakolian, M., & Liu, L. (2021). Semi-supervised few-shot class-incremental learning. In 2021 IEEE International Conference on Image Processing (ICIP), 1239–1243. https://doi.org/10.1109/ICIP42928.2021.9506346

    Rinnakkaistallennettu versio

  4. Cui, Y., Deng, W., Xu, X., Liu, Z., Liu, Z., Pietikainen, M., & Liu, L. (2022). Uncertainty-guided semi-supervised few-shot class-incremental learning with knowledge distillation. IEEE Transactions on Multimedia. Advance online publication. https://doi.org/10.1109/TMM.2022.3208743

    Rinnakkaistallennettu versio

  5. Cui, Y., Deng, W., Chen, H., & Liu, L. (2023). Uncertainty-aware distillation for semi-supervised few-shot class-incremental learning. IEEE Transactions on Neural Networks and Learning Systems. Advance online publication. https://doi.org/10.1109/TNNLS.2023.3277018

  6. Cui, Y., Yu, Z., Cai, R., Wang, X., Kot, A., & Liu, L. (2023). Generalized few-shot continual learning with contrastive mixture of adapters. Manuscript submitted for publication.

 
Kokoelmat