Το IndQA του OpenAI μετρά την πολιτισμική συλλογιστική σε 12 ινδικές γλώσσες

Τι είναι στην πραγματικότητα το IndQA

Το IndQA είναι ένα benchmark 2.278 ερωτήσεων σε 12 γλώσσες και 10 πολιτισμικούς τομείς, το οποίο δημιουργήθηκε σε συνεργασία με 261 ειδικούς σε τομείς σε όλη την Ινδία. Οι γλώσσες περιλαμβάνουν Bengali, Hindi, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi, Tamil, English—και, αξίζει να σημειωθεί, Hinglish.

Το OpenAI εξηγεί απευθείας τη λογική πίσω από τη δημιουργία του: τα υπάρχοντα πολυγλωσσικά benchmarks όπως το MMMLU έχουν κορεστεί, με τα κορυφαία μοντέλα να συσσωρεύονται κοντά σε υψηλές βαθμολογίες, ενώ τα περισσότερα τεστ σε γλώσσες εκτός αγγλικών περιορίζονται σε εργασίες μετάφρασης ή πολλαπλής επιλογής.

Δεν αποτυπώνουν επαρκώς αυτό που έχει πραγματικά σημασία για την αξιολόγηση των γλωσσικών ικανοτήτων ενός συστήματος ΤΝ—την κατανόηση του πλαισίου, του πολιτισμού, της ιστορίας και όσων έχουν σημασία για τους ανθρώπους στον τόπο όπου ζουν.Montana Labs

Οι τομείς είναι συγκεκριμένοι: Αρχιτεκτονική & Σχεδιασμός, Τέχνες & Πολιτισμός, Καθημερινή Ζωή, Φαγητό & Κουζίνα, Ιστορία, Δίκαιο & Ηθική, Λογοτεχνία & Γλωσσολογία, Media & Ψυχαγωγία, Θρησκεία & Πνευματικότητα, και Αθλητισμός & Αναψυχή. Κάθε στοιχείο συνοδεύεται από μια πολιτισμικά τεκμηριωμένη προτροπή, μια αγγλική μετάφραση για λόγους ελέγχου, σταθμισμένα κριτήρια ρουμπρίκας και μια ιδανική απάντηση γραμμένη από ειδικό.

Η ενσωμάτωση των Hinglish είναι ένα σήμα για το frontend

Το OpenAI προσέθεσε τα Hinglish ως δική τους κατηγορία γλώσσας, εξηγώντας την επιλογή: «Προσθέσαμε συγκεκριμένα τα Hinglish λόγω της συχνότητας εναλλαγής κωδικών (code-switching) στις συνομιλίες». Αυτή είναι η λεπτομέρεια που πρέπει να προσέξουν οι ομάδες που αναπτύσσουν διεπαφές συνομιλίας για χρήστες στην Ινδία.

Οι χρήστες που πληκτρολογούν σε ένα πλαίσιο κειμένου σπάνια δεσμεύονται σε μία μόνο γλώσσα. Αναμειγνύουν Hindi και English στη μέση μιας πρότασης, εναλλάσσουν γραφικά συστήματα και περιμένουν η διεπαφή να παρακολουθήσει. Ένα benchmark που αντιμετωπίζει την εναλλαγή κωδικών ως πρωτοκλασάτη κατηγορία, και όχι ως εκφυλισμένη περίπτωση δύο «καθαρών» γλωσσών, ευθυγραμμίζει την αξιολόγηση με τον τρόπο που οι άνθρωποι πραγματικά πληκτρολογούν στην είσοδο ενός προϊόντος.

Το OpenAI τεκμηριώνει και την εμπορική λογική: η Ινδία έχει περίπου ένα δισεκατομμύριο ανθρώπους που δεν χρησιμοποιούν τα αγγλικά ως πρωτεύουσα γλώσσα, 22 επίσημες γλώσσες, και περιγράφεται ως η δεύτερη μεγαλύτερη αγορά του ChatGPT. Η κατηγορία Hinglish αντιμετωπίζει το «ακατάστατο», πραγματικό δεδομένο ως στόχο και όχι ως ακραία περίπτωση.

Βαθμολόγηση με ρουμπρίκα και ανταγωνιστικό φιλτράρισμα

Το IndQA βαθμολογεί κάθε απάντηση με βάση κριτήρια γραμμένα από ειδικούς σε τομείς για τη συγκεκριμένη ερώτηση, με σταθμισμένες μονάδες βαθμολόγησης, ελεγμένα από έναν αξιολογητή βασισμένο σε μοντέλο. Η τελική βαθμολογία είναι το άθροισμα των μονάδων για τα κριτήρια που πληρούνται. Αυτό προσεγγίζει περισσότερο τη βαθμολόγηση μιας έκθεσης με βάση μια ρουμπρίκα παρά τη βαθμολόγηση ενός τεστ πολλαπλής επιλογής.

Η μέθοδος κατασκευής φέρει μια σκόπιμη μεροληψία. Κάθε ερώτηση δοκιμάστηκε στα GPT-4o, o3, GPT-4.5, και εν μέρει στο GPT-5, και διατηρήθηκαν μόνο οι ερωτήσεις στις οποίες η πλειοψηφία αυτών των μοντέλων απέτυχε. Το OpenAI δηλώνει ρητά ότι αυτό διατηρεί περιθώριο βελτίωσης—αλλά και ότι περιπλέκει την ερμηνεία.

Επειδή οι ερωτήσεις φιλτραρίστηκαν ώστε να περιλαμβάνουν μόνο εκείνες που τα GPT-4o, OpenAI o3, GPT-4.5, και (μετά την επίσημη κυκλοφορία) το GPT-5 δεν μπόρεσαν να απαντήσουν επαρκώς, η επιλογή των ερωτήσεων είναι ανταγωνιστική απέναντι σε αυτά τα μοντέλα. Αυτό ενδεχομένως επηρεάζει την ερμηνεία της σχετικής επίδοσης του GPT-5, και θα μπορούσε να μειονεκτεί όλα τα μοντέλα του OpenAI σε σύγκριση με μοντέλα άλλων εταιρειών.Montana Labs

Το OpenAI προειδοποιεί επίσης ότι το IndQA δεν αποτελεί λίστα κατάταξης γλωσσών, καθώς οι ερωτήσεις δεν είναι ίδιες μεταξύ των γλωσσών· οι βαθμολογίες μεταξύ γλωσσών δεν αποτελούν άμεσες συγκρίσεις. Η δηλωμένη χρήση είναι η παρακολούθηση της βελτίωσης με τον χρόνο εντός μιας οικογένειας μοντέλων.

Τι αλλάζει αυτό για τις ομάδες που αναπτύσσουν διεπαφές σε ινδικές γλώσσες

Το IndQA δεν προσφέρει στις ομάδες προϊόντος μια κατάταξη που μπορούν απλά να αντιγράψουν σε μια απόφαση επιλογής προμηθευτή. Το ανταγωνιστικό φιλτράρισμα και τα σύνολα ερωτήσεων ανά γλώσσα είναι δομημένα ώστε να μετρούν την πρόοδο εντός μιας οικογένειας μοντέλων, όχι να ανακηρύξουν νικητή ανάμεσα σε παρόχους.

Το μεταφερόμενο δίδαγμα είναι μεθοδολογικό. Αν οι χρήστες σας αλληλεπιδρούν στα Bengali, στα Tamil ή στα Hinglish, η ακρίβεια μετάφρασης και τα τεστ πολλαπλής επιλογής θα σας πουν πολύ λίγα για το αν το μοντέλο συλλογίζεται σωστά σχετικά με τον πολιτισμό στον οποίο ζουν αυτοί οι χρήστες. Το πρότυπο του IndQA—προτροπές γραμμένες από φυσικούς ομιλητές, ρουμπρίκες ειδικών με σταθμισμένα κριτήρια, μια ελέγξιμη αγγλική μετάφραση, και ερωτήσεις στις οποίες αποτυγχάνουν τα σημερινά καλύτερα μοντέλα—είναι ένα πρότυπο που οι ομάδες μπορούν να αναπαράγουν για τους δικούς τους τομείς.

Το OpenAI περιγράφει ακριβώς αυτό ως το επιδιωκόμενο αποτέλεσμα, λέγοντας ότι ελπίζει η κυκλοφορία να ενημερώσει και να εμπνεύσει τη δημιουργία νέων benchmarks, ειδικά σε γλώσσες και τομείς που σήμερα καλύπτονται ελλιπώς. Για όποιον το frontend του εξυπηρετεί μη αγγλόφωνους χρήστες, το πρακτικό δίδαγμα είναι να αξιολογεί με βάση πολιτισμικά τεκμηριωμένες, αξιολογημένες από ειδικούς εργασίες στην πραγματική γλώσσα εισόδου—συμπεριλαμβανομένης της μεικτής γλωσσικής εισόδου που στέλνουν πραγματικά οι άνθρωποι.