Jul, 134 min di lettura
Frontend
News · Google DeepMind divide l'intelligenza generale in 10 abilità cognitive e affida alla community le valutazioni ancora mancanti
Mar, 174 min di lettura
FrontendGoogle DeepMind divide l'intelligenza generale in 10 abilità cognitive e affida alla community le valutazioni ancora mancanti
Una nuova taxonomy cognitiva definisce i parametri su cui misurare i progressi verso l'AGI — e un hackathon Kaggle da 200.000 dollari ammette che cinque di queste abilità non hanno ancora test adeguati.
Cosa ha messo sul tavolo DeepMind il 17 marzo
Google DeepMind ha pubblicato un paper, "Measuring Progress Toward AGI: A Cognitive Taxonomy", che scompone l'intelligenza generale in 10 abilità denominate: percezione, generazione, attenzione, apprendimento, memoria, ragionamento, metacognizione, funzioni esecutive, problem solving e cognizione sociale.
Invece di proporre un unico punteggio AGI, il paper associa a ciascuna abilità un protocollo in tre fasi: testare i sistemi su un ampio ventaglio di task usando set di test riservati per evitare contaminazioni, raccogliere baseline umane da un campione di adulti demograficamente rappresentativo, poi confrontare la performance del modello con la distribuzione delle performance umane.
L'impostazione è esplicita nel dire che questo è un tassello, non il quadro completo. Gli autori affermano che le scienze cognitive 'forniscono un pezzo importante del puzzle' — una cautela da prendere alla lettera, perché la taxonomy è un vocabolario per la misurazione, non l'affermazione che quella misurazione esista già.
Le cinque abilità che ammettono di non saper ancora misurare
Il dettaglio più onesto è nell'ambito dell'hackathon. Delle 10 abilità, la challenge su Kaggle si concentra esattamente sulle cinque 'dove il gap di valutazione è più ampio': apprendimento, metacognizione, attenzione, funzioni esecutive e cognizione sociale.
Quella lista è indicativa. Le abilità con benchmark maturi — ragionamento, problem solving, generazione — sono già quelle che saturano le classifiche. Le cinque senza test adeguati sono quelle che determinano se un prodotto IA risulta affidabile in un'interfaccia reale, non solo capace su un benchmark.
La metacognizione è sapere quando non si sa. L'attenzione è concentrarsi su ciò che conta in un contesto affollato di informazioni. Le funzioni esecutive riguardano pianificazione e inibizione. Sono esattamente le modalità di fallimento che gli utenti incontrano nel frontend — una risposta sbagliata detta con sicurezza, un agente che perde il filo a metà task, uno strumento che agisce prima del dovuto. DeepMind sta definendo questi vuoti come lacune di misurazione, non come problemi già risolti.
Perché un punteggio con baseline umane per ogni abilità cambia il modo di comunicare i risultati
L'insistenza del protocollo nel confrontare la performance del modello con una distribuzione umana per ciascuna abilità allontana dal punteggio unico aggregato che domina il lancio dei modelli. Un sistema potrebbe collocarsi sopra la mediana umana sulla generazione e sotto sulla metacognizione, e questo framework terrebbe questi due dati separati.
Per chi costruisce su modelli di frontiera, questa scomposizione è più utile di un aggregato. Suggerisce di valutare un modello candidato rispetto all'abilità specifica su cui si basa il tuo prodotto — ad esempio le funzioni esecutive per un workflow ad agenti, la cognizione sociale per un'interfaccia di supporto — invece di fidarsi di una classifica composita.
I meccanismi sono concreti: le submission vengono eseguite sulla piattaforma Community Benchmarks di Kaggle, appena lanciata, a confronto con una selezione di modelli di frontiera. La struttura dei premi prevede 10.000 dollari per i primi due classificati in ciascuna delle cinque track e premi principali da 25.000 dollari per i quattro migliori complessivi, per un montepremi totale di 200.000 dollari, con submission apribili dal 17 marzo al 16 aprile e risultati previsti per il 1° giugno.
Cosa significano le valutazioni esternalizzate per i team che rilasciano funzionalità IA
L'implicazione concreta è che Google sta chiedendo alla community di ricerca esterna di definire i test per le capacità che governano l'affidabilità percepita dagli utenti — e lo fa in modo aperto, su una piattaforma di benchmarking pubblica.
Se i risultati del 1° giugno producono valutazioni utilizzabili per attenzione, metacognizione e funzioni esecutive, i team avranno un modo condiviso e resistente alla contaminazione per verificare i comportamenti che rompono i prodotti davanti agli utenti, non solo quelli che scalano i benchmark di ricerca.
Il gap che l'hackathon vuole colmare è lo stesso che oggi i team frontend coprono con guardrail, retry ed euristiche di confidenza. Osservare quali delle cinque track produrranno valutazioni solide — e quali resteranno irrisolte dopo il 16 aprile — è un segnale più concreto dei progressi verso l'AGI di qualsiasi singolo rilascio di modello quest'anno.
Find this story relevant to you?
Contact us to find a unique solution
Cerchi un partner di ingegneria AI capace di costruire davvero?
Aiutiamo le aziende a integrare l AI nei prodotti, automatizzare i flussi di lavoro ad alto valore e modernizzare i sistemi software che sostengono la crescita.
Letture correlate
Altre analisi su delivery di prodotto, IA operativa e il lavoro sui sistemi che fa reggere il deployment alla prova dei fatti.