Continual Learning (CL) è un campo della ricerca dell'intelligenza artificiale dedicata al progetto di algoritmi capaci di superare il problema del catastrofic forgetting nelle reti neurali, il fenomeno per il quale si ha la distruzione dei concetti appresi nel passato quando la rete sta apprendendo un concetto nuovo. Attualmente le reti neurali hanno dimostrato sorprendenti capacità nel risolvere diversi problemi reali, questi modelli, però, assumono una certa stabilità nella distribuzione dei dati e quando questo viene a meno il fenomeno di catastrofic forgettingsi presenta. In questa tesi, dopo una introduzione sullo stato dell'arte ed una discussione sulla letteratura corrente, introduciamo una analisi sul catastrophic forgetting nelle reti convolutive. In particolare vedremo come il pretraining di una backbone influisca sulle performance in ambito incrementale. Dopodichè dimostreremo come nei sistemi basati su buffer di replay (ossia memorie), sia di gran lunga più essenziale riporre l'attenzione nel memorizzare più quanti dati si riesca piuttosto che sula qualità di essi. Infine presentiamo uno dei primi studi sull'apprendimento incrementale nelle architetture che implementano il meccanismo di self-attention, ossia sui ViTs. Introduciamo una comparazione tra metodi basati sui dati, metodi funzionali e metodi basati sulla regolarizzazione del meccanismo di self-attention e dimostreremo come quest'ultimi siano competitivi rispetto allo stato dell'arte.

Dissecting continual learning: a structural and data analysis / Pelosin, Francesco. - (ND).

Dissecting continual learning: a structural and data analysis

Pelosin, Francesco
ND

Abstract

Continual Learning (CL) è un campo della ricerca dell'intelligenza artificiale dedicata al progetto di algoritmi capaci di superare il problema del catastrofic forgetting nelle reti neurali, il fenomeno per il quale si ha la distruzione dei concetti appresi nel passato quando la rete sta apprendendo un concetto nuovo. Attualmente le reti neurali hanno dimostrato sorprendenti capacità nel risolvere diversi problemi reali, questi modelli, però, assumono una certa stabilità nella distribuzione dei dati e quando questo viene a meno il fenomeno di catastrofic forgettingsi presenta. In questa tesi, dopo una introduzione sullo stato dell'arte ed una discussione sulla letteratura corrente, introduciamo una analisi sul catastrophic forgetting nelle reti convolutive. In particolare vedremo come il pretraining di una backbone influisca sulle performance in ambito incrementale. Dopodichè dimostreremo come nei sistemi basati su buffer di replay (ossia memorie), sia di gran lunga più essenziale riporre l'attenzione nel memorizzare più quanti dati si riesca piuttosto che sula qualità di essi. Infine presentiamo uno dei primi studi sull'apprendimento incrementale nelle architetture che implementano il meccanismo di self-attention, ossia sui ViTs. Introduciamo una comparazione tra metodi basati sui dati, metodi funzionali e metodi basati sulla regolarizzazione del meccanismo di self-attention e dimostreremo come quest'ultimi siano competitivi rispetto allo stato dell'arte.
-1-Uns- -1
34
Informatica
Torsello, Andrea
File in questo prodotto:
File Dimensione Formato  
839220-1242570.pdf

accesso aperto

Tipologia: Tesi di dottorato
Dimensione 8.11 MB
Formato Adobe PDF
8.11 MB Adobe PDF Visualizza/Apri

I documenti in ARCA sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10579/22750
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact