Jul, 134 Min. Lesezeit
Frontend
News · Google DeepMind gliedert allgemeine Intelligenz in 10 kognitive Fähigkeiten auf und lagert die fehlenden Bewertungsmethoden per Crowdsourcing aus
Mar, 174 Min. Lesezeit
FrontendGoogle DeepMind gliedert allgemeine Intelligenz in 10 kognitive Fähigkeiten auf und lagert die fehlenden Bewertungsmethoden per Crowdsourcing aus
Eine neue kognitive Taxonomie definiert, an welchem Maßstab AGI-Fortschritt gemessen werden soll — und ein Kaggle-Hackathon mit 200.000 US-Dollar Preisgeld räumt ein, dass es für fünf dieser Fähigkeiten noch keine brauchbaren Tests gibt.
Was DeepMind am 17. März vorgelegt hat
Google DeepMind hat ein Paper namens „Measuring Progress Toward AGI: A Cognitive Taxonomy“ veröffentlicht, das allgemeine Intelligenz in 10 benannte Fähigkeiten aufteilt: Wahrnehmung, Generierung, Aufmerksamkeit, Lernen, Gedächtnis, Schlussfolgern, Metakognition, exekutive Funktionen, Problemlösen und soziale Kognition.
Statt einen einzelnen AGI-Wert vorzuschlagen, verknüpft das Paper jede Fähigkeit mit einem dreistufigen Protokoll: Systeme werden anhand eines breiten Aufgabenspektrums mit zurückgehaltenen Testdatensätzen geprüft, um Kontamination zu vermeiden; anschließend werden menschliche Vergleichswerte von einer demografisch repräsentativen Stichprobe Erwachsener erhoben; danach wird die Modellleistung der Verteilung menschlicher Leistung gegenübergestellt.
Ausdrücklich wird betont, dass dies nur ein Baustein ist, nicht das Gesamtbild. Die Autoren schreiben, die Kognitionswissenschaft „liefere ein wichtiges Puzzleteil“ — eine Einschränkung, die man wörtlich nehmen sollte, denn die Taxonomie ist ein Vokabular für die Messung, keine Behauptung, dass diese Messung bereits existiert.
Die fünf Fähigkeiten, die laut eigener Aussage noch nicht messbar sind
Das ehrlichste Detail liegt im Umfang des Hackathons. Von den 10 Fähigkeiten zielt die Kaggle-Challenge genau auf die fünf, „bei denen die Bewertungslücke am größten ist“: Lernen, Metakognition, Aufmerksamkeit, exekutive Funktionen und soziale Kognition.
Diese Auswahl spricht Bände. Die Fähigkeiten mit ausgereiften Benchmarks — Schlussfolgern, Problemlösen, Generierung — sind genau jene, die Ranglisten bereits sättigen. Die fünf ohne brauchbare Tests sind hingegen entscheidend dafür, ob sich ein KI-Produkt im echten Einsatz verlässlich anfühlt, statt nur in einem Benchmark leistungsfähig zu wirken.
Metakognition bedeutet zu wissen, wann man etwas nicht weiß. Aufmerksamkeit heißt, sich in einem überfüllten Kontext auf das Wesentliche zu konzentrieren. Exekutive Funktionen umfassen Planung und Impulskontrolle. Genau das sind die Fehlerbilder, auf die Nutzer im Frontend stoßen — eine selbstbewusst falsche Antwort, ein Agent, der mitten in einer Aufgabe den Faden verliert, ein Tool, das handelt, bevor es sollte. DeepMind benennt diese Lücken als Messlücken, nicht als gelöste Probleme.
Warum eine Bewertung mit menschlichem Vergleichswert pro Fähigkeit die Berichterstattung verändert
Dass das Protokoll darauf besteht, die Modellleistung pro Fähigkeit einer menschlichen Verteilung gegenüberzustellen, entfernt sich von der Einzelwert-Berichterstattung, die Modell-Launches heute dominiert. Ein System könnte bei der Generierung über dem menschlichen Median liegen und bei der Metakognition darunter — und dieses Framework würde diese Werte getrennt ausweisen.
Für alle, die auf Frontier-Modellen aufbauen, ist diese Aufgliederung nützlicher als ein Gesamtwert. Sie legt nahe, ein Kandidatenmodell anhand der spezifischen Fähigkeit zu bewerten, auf die das eigene Produkt setzt — etwa exekutive Funktionen für einen Agenten-Workflow oder soziale Kognition für eine Support-Oberfläche — statt sich auf ein zusammengesetztes Ranking zu verlassen.
Der Ablauf ist konkret: Einreichungen laufen auf Kaggles neu gestarteter Plattform „Community Benchmarks“ gegen eine Reihe von Frontier-Modellen. Die Preisstruktur sieht 10.000 US-Dollar für die besten zwei in jedem der fünf Tracks sowie 25.000 US-Dollar Hauptpreise für die vier Gesamtbesten vor — ein Preispool von 200.000 US-Dollar. Einreichungen sind vom 17. März bis zum 16. April möglich, die Ergebnisse werden am 1. Juni veröffentlicht.
Was die ausgelagerten Bewertungen für Teams bedeuten, die KI-Funktionen ausliefern
Die konkrete Botschaft ist, dass Google die externe Forschungsgemeinschaft bittet, die Tests für genau jene Fähigkeiten zu definieren, die über die Verlässlichkeit im Nutzererlebnis entscheiden — und das offen auf einer öffentlichen Benchmarking-Plattform.
Wenn die Ergebnisse vom 1. Juni brauchbare Bewertungsmethoden für Aufmerksamkeit, Metakognition und exekutive Funktionen liefern, erhalten Teams eine gemeinsame, kontaminationsresistente Möglichkeit, genau jene Verhaltensweisen zu prüfen, die Produkte vor den Augen der Nutzer scheitern lassen — nicht nur jene, die in Forschungs-Benchmarks brillieren.
Die Lücke, die dieser Hackathon schließen soll, ist dieselbe, die Frontend-Teams heute mit Guardrails, Wiederholungsversuchen und Konfidenz-Heuristiken überdecken. Zu beobachten, welche der fünf Tracks belastbare Bewertungsmethoden liefert — und welche nach dem 16. April ungelöst bleiben — ist ein fundierteres Signal für AGI-Fortschritt als jede einzelne Modellveröffentlichung dieses Jahres.
Find this story relevant to you?
Contact us to find a unique solution
Brauchen Sie einen KI-Engineering-Partner, der auch liefern kann?
Wir helfen Unternehmen dabei, KI in Produkte und Prozesse zu integrieren, wertvolle Workflows zu automatisieren und die zugrunde liegenden Softwaresysteme zu modernisieren.
Weiterführende Beiträge
Weitere Analysen rund um Produktbereitstellung, operative KI und die Systemarbeit, die dafür sorgt, dass der Einsatz in der Praxis Bestand hat.