Jul, 13Ανάγνωση 4 λεπτών
Frontend
News · Το Google DeepMind χωρίζει τη γενική νοημοσύνη σε 10 γνωστικές ικανότητες και αναθέτει σε πλήθος τις αξιολογήσεις που λείπουν
Mar, 174 λεπτά ανάγνωσης
FrontendΤο Google DeepMind χωρίζει τη γενική νοημοσύνη σε 10 γνωστικές ικανότητες και αναθέτει σε πλήθος τις αξιολογήσεις που λείπουν
Μια νέα γνωστική ταξινομία ορίζει με τι πρέπει να συγκρίνεται η πρόοδος προς την AGI — και ένας διαγωνισμός Kaggle ύψους 200.000 δολαρίων παραδέχεται πως πέντε από αυτές τις ικανότητες δεν έχουν ακόμη αξιόπιστα τεστ.
Τι έθεσε στο τραπέζι η DeepMind στις 17 Μαρτίου
Το Google DeepMind δημοσίευσε ένα paper με τίτλο «Measuring Progress Toward AGI: A Cognitive Taxonomy», το οποίο αναλύει τη γενική νοημοσύνη σε 10 συγκεκριμένες ικανότητες: αντίληψη, παραγωγή, προσοχή, μάθηση, μνήμη, συλλογισμό, μεταγνώση, εκτελεστικές λειτουργίες, επίλυση προβλημάτων και κοινωνική νόηση.
Αντί να προτείνει ένα ενιαίο σκορ AGI, το paper συνδέει με κάθε ικανότητα ένα πρωτόκολλο τριών σταδίων: εκτέλεση των συστημάτων σε ένα ευρύ σύνολο εργασιών με χρήση κρυφών test sets για την αποφυγή μόλυνσης δεδομένων, συγκέντρωση ανθρώπινων δεδομένων αναφοράς από ένα δημογραφικά αντιπροσωπευτικό δείγμα ενηλίκων, και στη συνέχεια σύγκριση της απόδοσης του μοντέλου με την κατανομή της ανθρώπινης απόδοσης.
Η διατύπωση είναι ξεκάθαρη ότι πρόκειται για ένα μόνο κομμάτι, όχι για την πλήρη εικόνα. Οι συγγραφείς αναφέρουν ότι η γνωστική επιστήμη «προσφέρει ένα σημαντικό κομμάτι του παζλ» — μια επιφύλαξη που αξίζει να ληφθεί στην κυριολεξία της, καθώς η ταξινομία είναι ένα λεξιλόγιο για τη μέτρηση, όχι μια διαβεβαίωση ότι η μέτρηση υπάρχει ήδη.
Οι πέντε ικανότητες που παραδέχονται ότι δεν μπορούν ακόμη να μετρήσουν
Η πιο ειλικρινής λεπτομέρεια βρίσκεται στο πεδίο εφαρμογής του διαγωνισμού. Από τις 10 ικανότητες, η πρόκληση στο Kaggle στοχεύει ακριβώς στις πέντε «όπου το κενό αξιολόγησης είναι το μεγαλύτερο»: μάθηση, μεταγνώση, προσοχή, εκτελεστικές λειτουργίες και κοινωνική νόηση.
Αυτή η λίστα λέει πολλά. Οι ικανότητες με ωριμότερα benchmark — συλλογισμός, επίλυση προβλημάτων, παραγωγή — είναι αυτές που κορυφώνουν ήδη τα leaderboards. Οι πέντε χωρίς αξιόπιστα τεστ είναι αυτές που καθορίζουν αν ένα προϊόν ΤΝ φαίνεται αξιόπιστο σε ένα πραγματικό περιβάλλον χρήσης, και όχι απλώς ικανό σε ένα benchmark.
Η μεταγνώση σημαίνει να ξέρεις πότε δεν ξέρεις. Η προσοχή σημαίνει να εστιάζεις σε ό,τι έχει σημασία μέσα σε ένα πολυσύνθετο πλαίσιο. Οι εκτελεστικές λειτουργίες καλύπτουν τον σχεδιασμό και την αναστολή ενεργειών. Αυτά είναι ακριβώς τα σημεία αστοχίας που συναντούν οι χρήστες στο frontend — μια λανθασμένη απάντηση δοσμένη με σιγουριά, έναν agent που χάνει το νήμα στη μέση μιας εργασίας, ένα εργαλείο που ενεργεί πριν θα έπρεπε. Η DeepMind ονομάζει αυτά τα κενά ως κενά μέτρησης, όχι ως λυμένα προβλήματα.
Γιατί η βαθμολόγηση με βάση ανθρώπινα δεδομένα, ανά ικανότητα, αλλάζει τον τρόπο αναφοράς αποτελεσμάτων
Η επιμονή του πρωτοκόλλου να συγκρίνει την απόδοση του μοντέλου με μια ανθρώπινη κατανομή ανά ικανότητα απομακρύνεται από την αναφορά με ένα και μόνο νούμερο που κυριαρχεί στις παρουσιάσεις μοντέλων. Ένα σύστημα θα μπορούσε να βρίσκεται πάνω από τον ανθρώπινο μέσο όρο στην παραγωγή και κάτω από αυτόν στη μεταγνώση, και αυτό το πλαίσιο θα διατηρούσε αυτές τις διαστάσεις ξεχωριστές.
Για όποιον χτίζει πάνω σε μοντέλα αιχμής, αυτή η ανάλυση σε επίπεδο ικανοτήτων είναι πιο χρήσιμη από ένα συνολικό σκορ. Υποδεικνύει την αξιολόγηση ενός υποψήφιου μοντέλου ως προς τη συγκεκριμένη ικανότητα στην οποία βασίζεται το προϊόν σας — για παράδειγμα, εκτελεστική λειτουργία για μια ροή εργασιών με agent, κοινωνική νόηση για μια διεπαφή υποστήριξης — αντί να βασίζεστε σε μια σύνθετη κατάταξη.
Η μηχανική είναι συγκεκριμένη: οι συμμετοχές εκτελούνται στη νεοσύστατη πλατφόρμα Community Benchmarks του Kaggle, απέναντι σε μια σειρά μοντέλων αιχμής. Η διάρθρωση των βραβείων προβλέπει 10.000 δολάρια για τους δύο πρώτους σε κάθε μία από τις πέντε κατηγορίες και 25.000 δολάρια μεγάλα βραβεία για τους τέσσερις καλύτερους συνολικά, με συνολική χρηματοδότηση 200.000 δολαρίων, με τις συμμετοχές ανοιχτές από τις 17 Μαρτίου έως τις 16 Απριλίου και τα αποτελέσματα να ανακοινώνονται την 1η Ιουνίου.
Τι σημαίνουν οι εξωτερικές αξιολογήσεις για τις ομάδες που κυκλοφορούν λειτουργίες ΤΝ
Το συγκεκριμένο υπονοούμενο είναι ότι η Google ζητά από την εξωτερική ερευνητική κοινότητα να ορίσει τα τεστ ακριβώς για τις ικανότητες που καθορίζουν την αξιοπιστία απέναντι στον χρήστη — και το κάνει ανοιχτά, σε μια δημόσια πλατφόρμα αξιολόγησης.
Αν τα αποτελέσματα της 1ης Ιουνίου παράγουν χρησιμοποιήσιμες αξιολογήσεις για την προσοχή, τη μεταγνώση και την εκτελεστική λειτουργία, οι ομάδες θα αποκτήσουν έναν κοινό, ανθεκτικό σε μόλυνση δεδομένων τρόπο για να ελέγχουν τις συμπεριφορές που «σπάνε» τα προϊόντα μπροστά στους χρήστες, και όχι μόνο αυτές που κορυφώνουν στα ερευνητικά benchmark.
Το κενό που έρχεται να καλύψει ο διαγωνισμός είναι το ίδιο κενό που σήμερα οι ομάδες frontend καλύπτουν πρόχειρα με guardrails, επαναλήψεις και ευριστικές μεθόδους εμπιστοσύνης. Η παρακολούθηση του ποιες από τις πέντε κατηγορίες θα παραγάγουν διαρκείς αξιολογήσεις — και ποιες θα παραμείνουν άλυτες μετά τις 16 Απριλίου — αποτελεί έναν πιο τεκμηριωμένο δείκτη προόδου προς την AGI από οποιαδήποτε κυκλοφορία μεμονωμένου μοντέλου φέτος.
Find this story relevant to you?
Contact us to find a unique solution
Χρειάζεστε συνεργάτη AI engineering που μπορεί να παραδώσει;
Βοηθάμε ομάδες στην Ελλάδα να ενσωματώσουν AI, να δημιουργήσουν AI-powered προϊόντα, να αυτοματοποιήσουν κρίσιμες ροές εργασίας και να εκσυγχρονίσουν τα συστήματα που τα στηρίζουν.
Σχετικά άρθρα
Περισσότερη ανάλυση για την παράδοση προϊόντων, τη λειτουργική ΤΝ και τη δουλειά στα συστήματα που κάνει την ανάπτυξη να αντέχει στην πράξη.