OpenAIs IndQA misst kulturelles Denkvermögen in 12 indischen Sprachen

Was IndQA tatsächlich ist

IndQA ist ein Benchmark mit 2.278 Fragen aus 12 Sprachen und 10 Kulturbereichen, entstanden in Zusammenarbeit mit 261 Fachexperten in ganz Indien. Zu den Sprachen zählen Bengali, Hindi, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi, Tamil, Englisch – und, bemerkenswerterweise, Hinglish.

OpenAI nennt die Beweggründe für die Entwicklung direkt: Bestehende mehrsprachige Benchmarks wie MMMLU sind ausgereizt, Top-Modelle häufen sich nahe an Höchstwerten, und die meisten nicht-englischen Tests reduzieren sich auf Übersetzungs- oder Multiple-Choice-Aufgaben.

Sie erfassen nicht angemessen, worauf es bei der Bewertung der Sprachfähigkeiten eines KI-Systems wirklich ankommt – das Verständnis von Kontext, Kultur, Geschichte und den Dingen, die den Menschen in ihrem Lebensumfeld wichtig sind.Montana Labs

Die Bereiche sind konkret gefasst: Architektur & Design, Kunst & Kultur, Alltagsleben, Essen & Kulinarik, Geschichte, Recht & Ethik, Literatur & Sprachwissenschaft, Medien & Unterhaltung, Religion & Spiritualität sowie Sport & Freizeit. Jede Aufgabe enthält einen kulturell verankerten Prompt, eine englische Übersetzung zur Nachvollziehbarkeit, gewichtete Bewertungskriterien und eine von Experten verfasste Musterantwort.

Die Einbeziehung von Hinglish ist ein Signal für das Frontend

OpenAI hat Hinglish als eigene Sprachkategorie hinzugefügt und begründet dies so: „Wir haben Hinglish gezielt aufgenommen, weil Code-Switching in Gesprächen so verbreitet ist.“ Dieses Detail sollten Teams beachten, die Chat-Oberflächen für indische Nutzer entwickeln.

Nutzer, die in ein Textfeld tippen, legen sich selten auf eine einzige Sprache fest. Sie mischen Hindi und Englisch mitten im Satz, wechseln Schriftsysteme und erwarten, dass die Oberfläche mithält. Ein Benchmark, der code-geswitchte Eingaben als eigenständige Kategorie behandelt statt als fehlerhafte Variante zweier reiner Sprachen, bringt die Bewertung näher an die Realität, wie Menschen tatsächlich an der Eingabemaske eines Produkts tippen.

OpenAI untermauert auch die Marktlogik: Indien hat etwa eine Milliarde Menschen, die Englisch nicht als Hauptsprache nutzen, 22 offizielle Sprachen, und gilt als ChatGPTs zweitgrößter Markt. Die Hinglish-Kategorie behandelt unordentliche, echte Eingaben als Zielgröße statt als Randfall.

Bewertung nach Raster und gegnerische Filterung

IndQA bewertet jede Antwort anhand von Kriterien, die Fachexperten speziell für diese Frage verfasst haben, mit gewichteten Punktwerten, geprüft durch einen modellbasierten Gutachter. Der Endscore ist die Summe der Punkte für erfüllte Kriterien. Das kommt der Bewertung eines Aufsatzes nach Bewertungsraster näher als dem Abgleich mit einem Multiple-Choice-Lösungsschlüssel.

Die Konstruktionsmethode trägt eine bewusste Verzerrung in sich. Jede Frage wurde gegen GPT-4o, o3, GPT-4.5 und teilweise GPT-5 getestet, und nur Fragen, an denen die Mehrheit dieser Modelle scheiterte, wurden übernommen. OpenAI macht deutlich, dass dies Spielraum nach oben erhält – aber auch, dass es die Interpretation verzerrt.

Da Fragen so gefiltert wurden, dass GPT-4o, OpenAI o3, GPT-4.5 und (nach dem öffentlichen Start) GPT-5 sie nicht ausreichend beantworten konnten, ist die Fragenauswahl gezielt gegen diese Modelle ausgerichtet. Dies kann die relative Leistung von GPT-5 verzerren und alle OpenAI-Modelle gegenüber Modellen anderer Anbieter benachteiligen.Montana Labs

OpenAI weist außerdem darauf hin, dass IndQA keine Sprachrangliste ist, da die Fragen zwischen den Sprachen nicht identisch sind; Scores über Sprachen hinweg sind keine direkten Vergleiche. Der vorgesehene Einsatzzweck ist die Fortschrittsverfolgung innerhalb einer Modellfamilie über die Zeit.

Was das für Teams bedeutet, die Oberflächen in indischen Sprachen ausliefern

IndQA liefert Produktteams kein Ranking, das sie einfach in eine Anbieterentscheidung übernehmen können. Die gezielte Filterung und die sprachspezifischen Fragensätze sind darauf ausgelegt, Fortschritt innerhalb einer Modellfamilie zu messen, nicht einen Gewinner unter Anbietern zu bestimmen.

Die übertragbare Lehre liegt in der Methode. Wenn Ihre Nutzer auf Bengali, Tamil oder Hinglish interagieren, sagen Übersetzungsgenauigkeit und Multiple-Choice-Tests wenig darüber aus, ob das Modell die Kultur dieser Nutzer korrekt versteht. Das IndQA-Muster – von Muttersprachlern verfasste Prompts, Expertenraster mit gewichteten Kriterien, eine nachvollziehbare englische Übersetzung und Fragen, an denen die aktuell besten Modelle scheitern – ist eine Vorlage, die Teams für ihre eigenen Bereiche nachbilden können.

OpenAI beschreibt genau das als das angestrebte Ergebnis und äußert die Hoffnung, dass die Veröffentlichung neue Benchmark-Entwicklungen anregt und inspiriert, besonders in Sprachen und Bereichen, die heute schlecht abgedeckt sind. Für alle, deren Frontend nicht-englischsprachige Nutzer bedient, lautet die praktische Erkenntnis: Bewerten Sie anhand kulturell verankerter, von Experten bewerteter Aufgaben in der tatsächlichen Eingabesprache – einschließlich der gemischtsprachigen Eingaben, die Menschen wirklich senden.