Jul, 134 min de leitura
Frontend
News · A DeepMind da Google divide a inteligência geral em 10 capacidades cognitivas e recorre à comunidade para as avaliações em falta
Mar, 174 min de leitura
FrontendA DeepMind da Google divide a inteligência geral em 10 capacidades cognitivas e recorre à comunidade para as avaliações em falta
Uma nova taxonomia cognitiva define aquilo em que o progresso da AGI deve ser medido — e um hackathon da Kaggle com 200 000 dólares em prémios admite que cinco dessas capacidades ainda não têm testes adequados.
O que a DeepMind apresentou a 17 de março
A DeepMind da Google publicou um artigo, "Measuring Progress Toward AGI: A Cognitive Taxonomy", que divide a inteligência geral em 10 capacidades nomeadas: perceção, geração, atenção, aprendizagem, memória, raciocínio, metacognição, funções executivas, resolução de problemas e cognição social.
Em vez de propor uma pontuação única de AGI, o artigo associa a cada capacidade um protocolo em três etapas: testar os sistemas num conjunto amplo de tarefas usando conjuntos de teste reservados para evitar contaminação, recolher referências humanas a partir de uma amostra de adultos demograficamente representativa e, depois, comparar o desempenho do modelo com a distribuição do desempenho humano.
A abordagem é clara ao assumir que esta é apenas uma peça, não o quadro completo. Os autores afirmam que a ciência cognitiva 'fornece uma peça importante do puzzle' — uma ressalva que vale a pena tomar ao pé da letra, porque a taxonomia é um vocabulário para a medição, não uma afirmação de que essa medição já existe.
As cinco capacidades que admitem ainda não conseguir medir
O detalhe mais honesto está no âmbito do hackathon. Das 10 capacidades, o desafio da Kaggle centra-se exatamente nas cinco 'onde a lacuna de avaliação é maior': aprendizagem, metacognição, atenção, funções executivas e cognição social.
Essa lista é reveladora. As capacidades com testes de referência maduros — raciocínio, resolução de problemas, geração — são as que já saturam as tabelas classificativas. As cinco sem testes adequados são as que determinam se um produto de AI (mantém-se o acrónimo em inglês) parece fiável numa interface real, e não apenas competente num teste de referência.
Metacognição é saber quando não se sabe. Atenção é focar o que importa num contexto sobrecarregado. As funções executivas cobrem o planeamento e a inibição. São precisamente os modos de falha que os utilizadores encontram no frontend — uma resposta errada dita com confiança, um agente que perde o fio à tarefa a meio, uma ferramenta que age antes de dever agir. A DeepMind está a identificar essas lacunas como lacunas de medição, não como problemas resolvidos.
Porque é que uma pontuação com referência humana, por capacidade, muda a forma de reportar resultados
A insistência do protocolo em comparar o desempenho do modelo com uma distribuição humana, capacidade a capacidade, afasta-se do reporte de um único número que domina os lançamentos de modelos. Um sistema pode situar-se acima da mediana humana na geração e abaixo dela na metacognição, e este enquadramento mantém essas medidas separadas.
Para quem constrói sobre modelos de fronteira, essa decomposição é mais útil do que um valor agregado. Sugere avaliar um modelo candidato relativamente à capacidade específica de que o produto depende — por exemplo, funções executivas para um fluxo de trabalho com agentes, cognição social para uma superfície de suporte — em vez de confiar numa classificação composta.
A mecânica é concreta: as submissões correm na plataforma Community Benchmarks, recentemente lançada pela Kaggle, contra um conjunto de modelos de fronteira. A estrutura de prémios prevê 10 000 dólares para os dois primeiros em cada uma das cinco categorias e prémios grandes de 25 000 dólares para os quatro melhores no geral, num total de 200 000 dólares, com submissões abertas de 17 de março a 16 de abril e resultados a 1 de junho.
O que as avaliações externas significam para as equipas que lançam funcionalidades de AI (mantém-se o acrónimo em inglês)
A implicação concreta é que a Google está a pedir à comunidade de investigação externa que defina os testes para as próprias capacidades que determinam a fiabilidade percebida pelos utilizadores — e a fazê-lo de forma aberta numa plataforma pública de avaliação comparativa.
Se os resultados de 1 de junho produzirem avaliações utilizáveis para a atenção, a metacognição e as funções executivas, as equipas passam a ter uma forma partilhada e resistente a contaminação de verificar os comportamentos que quebram os produtos diante dos utilizadores, e não apenas os que se destacam em testes de referência académicos.
A lacuna que este hackathon procura colmatar é a mesma que as equipas de frontend hoje contornam com salvaguardas, repetições e heurísticas de confiança. Observar quais das cinco categorias produzem avaliações duradouras — e quais permanecem sem solução depois de 16 de abril — é um sinal mais sólido de progresso rumo à AGI do que qualquer lançamento de modelo este ano.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que saiba executar?
Ajudamos equipas em Portugal a integrar IA em produtos, automatizar processos de alto valor e modernizar os sistemas que suportam o negocio.
Leitura relacionada
Mais análises sobre entrega de produto, AI operacional e o trabalho de sistemas que faz com que a implementação funcione na prática.