I ricercatori della North Carolina State University hanno sviluppato una nuova tecnica di intelligenza artificiale per superare le correlazioni spurie, anche se sconosciute. Questa svolta potrebbe migliorare significativamente le prestazioni e l'affidabilità del modello di intelligenza artificiale.
I ricercatori della North Carolina State University hanno svelato una nuova tecnica per affrontare uno dei problemi più persistenti nell'addestramento dei modelli di intelligenza artificiale (IA): le correlazioni spurie. Queste correlazioni spesso inducono i sistemi di IA a prendere decisioni basate su informazioni irrilevanti o fuorvianti, ostacolando l'accuratezza e l'affidabilità di questi modelli.
"Questa tecnica è innovativa in quanto può essere utilizzata anche quando non si ha idea delle correlazioni spurie su cui si basa l'intelligenza artificiale", ha affermato in un comunicato stampa l'autore corrispondente Jung-Eun Kim, professore associato di informatica alla NC State.
I modelli di IA, durante la fase di addestramento, a volte si agganciano a caratteristiche non importanti a causa di ciò che è noto come bias di semplicità. Ad esempio, un'IA addestrata a identificare i cani nelle fotografie potrebbe usare i collari come caratteristica identificativa principale se molte immagini di addestramento raffigurano cani con collari. Ciò può portare a risultati errati, come l'identificazione errata di gatti con collari come cani.
I metodi convenzionali per contrastare questo problema comportano l'identificazione e la regolazione delle caratteristiche spurie all'interno dei dati di training. Tuttavia, in molti casi, individuare queste caratteristiche spurie non è né semplice né possibile, rendendo inefficaci gli approcci tradizionali.
"Il nostro obiettivo con questo lavoro era sviluppare una tecnica che ci consentisse di separare le correlazioni spurie anche quando non sappiamo nulla di quelle caratteristiche spurie", ha aggiunto Kim.
Il nuovo metodo, denominato "data pruning", prevede la rimozione di un piccolo sottoinsieme dei campioni più difficili dai dati di training. Questi campioni in genere costringono il modello AI a basarsi su informazioni irrilevanti che portano a correlazioni spurie.
"Ci possono essere variazioni significative nei campioni di dati inclusi nei set di dati di training", ha aggiunto Kim. "Alcuni dei campioni possono essere molto semplici, mentre altri possono essere molto complessi. E possiamo misurare quanto sia 'difficile' ogni campione in base al comportamento del modello durante il training".
L'ipotesi alla base di questo approccio è che eliminando una piccola frazione dei campioni di dati più difficili si rimuovono anche quelli con caratteristiche spurie, migliorando così le prestazioni del modello senza causare effetti negativi significativi.
I ricercatori hanno dimostrato che questa nuova tecnica produce risultati all'avanguardia, superando persino i metodi esistenti che richiedono l'identificazione di caratteristiche spurie.
L'articolo sottoposto a revisione paritaria, intitolato "Recisione delle correlazioni spurie con la potatura dei dati,” sarà presentato alla Conferenza Internazionale sulle Rappresentazioni dell’Apprendimento (ICLR) che si terrà a Singapore dal 24 al 28 aprile.
Questa innovazione racchiude un potenziale significativo per il campo dell'intelligenza artificiale, promettendo una maggiore accuratezza e affidabilità nei risultati dei modelli di intelligenza artificiale senza la necessità esaustiva di identificare e correggere singolarmente le correlazioni spurie.