Jul, 134 min de leitura
Frontend
News · Google DeepMind divide a inteligência geral em 10 habilidades cognitivas e terceiriza para a comunidade as avaliações que ainda faltam
Mar, 174 min de leitura
FrontendGoogle DeepMind divide a inteligência geral em 10 habilidades cognitivas e terceiriza para a comunidade as avaliações que ainda faltam
Uma nova taxonomia cognitiva define os parâmetros para medir o progresso da AGI — e um hackathon de US$ 200 mil no Kaggle admite que cinco dessas habilidades ainda não têm testes adequados.
O que o DeepMind colocou na mesa em 17 de março
O Google DeepMind publicou um artigo, "Measuring Progress Toward AGI: A Cognitive Taxonomy", que divide a inteligência geral em 10 habilidades nomeadas: percepção, geração, atenção, aprendizado, memória, raciocínio, metacognição, funções executivas, resolução de problemas e cognição social.
Em vez de propor uma nota única de AGI, o artigo associa a cada habilidade um protocolo de três etapas: testar os sistemas em um conjunto amplo de tarefas usando bases de teste isoladas para evitar contaminação, coletar referências humanas a partir de uma amostra demograficamente representativa de adultos e, por fim, comparar o desempenho do modelo com a distribuição do desempenho humano.
O texto deixa claro que essa é uma peça do quebra-cabeça, não o quadro completo. Os autores dizem que a ciência cognitiva "contribui com uma peça importante do quebra-cabeça" — uma ressalva que vale levar ao pé da letra, porque a taxonomia é um vocabulário para medir, não uma prova de que a medição já existe.
As cinco habilidades que eles admitem não saber medir ainda
O detalhe mais honesto está no recorte do hackathon. Das 10 habilidades, o desafio no Kaggle foca exatamente nas cinco "em que a lacuna de avaliação é maior": aprendizado, metacognição, atenção, funções executivas e cognição social.
Essa lista é reveladora. As habilidades com benchmarks maduros — raciocínio, resolução de problemas, geração — são justamente as que já estão saturando os rankings. As cinco sem testes adequados são as que determinam se um produto de IA parece confiável em uma interface real, e não apenas competente em um benchmark.
Metacognição é saber quando você não sabe. Atenção é focar no que importa em um contexto cheio de informação. Funções executivas cobrem planejamento e inibição. São exatamente os pontos onde o usuário sente a falha no frontend — uma resposta errada dita com confiança, um agente que perde o fio da tarefa no meio do caminho, uma ferramenta que age antes da hora. O DeepMind está nomeando essas lacunas como lacunas de medição, não como problemas já resolvidos.
Por que a pontuação com referência humana, habilidade por habilidade, muda o jeito de reportar resultados
A insistência do protocolo em comparar o desempenho do modelo com uma distribuição humana para cada habilidade afasta a prática de reportar um único número, que hoje domina os lançamentos de modelos. Um sistema pode ficar acima da mediana humana em geração e abaixo dela em metacognição, e esse framework mantém essas medidas separadas.
Para quem constrói sobre modelos de fronteira, essa decomposição é mais útil do que um número agregado. Ela sugere avaliar um modelo candidato pela habilidade específica que o seu produto exige — função executiva para um fluxo de agente, cognição social para uma frente de suporte, por exemplo — em vez de confiar em um ranking composto.
A mecânica é concreta: as submissões correm na plataforma Community Benchmarks, recém-lançada pelo Kaggle, contra uma lista de modelos de fronteira. A estrutura de premiação é de US$ 10 mil para os dois primeiros colocados em cada uma das cinco trilhas e US$ 25 mil de prêmio máximo para os quatro melhores no geral, totalizando uma bolsa de US$ 200 mil, com submissões abertas de 17 de março a 16 de abril e resultados em 1º de junho.
O que a terceirização das avaliações significa para os times que lançam recursos de IA
A implicação concreta é que o Google está pedindo à comunidade de pesquisa externa que defina os testes justamente para as capacidades que determinam a confiabilidade percebida pelo usuário — e fazendo isso de forma aberta, em uma plataforma pública de benchmarking.
Se os resultados de 1º de junho produzirem avaliações utilizáveis para atenção, metacognição e função executiva, os times ganham uma forma compartilhada e resistente a contaminação de checar os comportamentos que quebram produtos na frente dos usuários — não só os que se destacam nos principais benchmarks de pesquisa.
A lacuna que o hackathon existe para fechar é a mesma que os times de frontend hoje contornam com guardrails, retentativas e heurísticas de confiança. Observar quais das cinco trilhas produzem avaliações duradouras — e quais continuam sem solução depois de 16 de abril — é um sinal de progresso da AGI mais concreto do que qualquer lançamento isolado de modelo neste ano.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que consiga construir de verdade?
Ajudamos empresas no Brasil a integrar IA, acelerar produtos com IA, automatizar operações e modernizar os sistemas de software por trás do negócio.
Leituras relacionadas
Mais análises sobre entrega de produto, IA operacional e o trabalho de sistemas que faz a implantação se sustentar na prática.