Το Gemini Embedding 2 συγκεντρώνει πέντε τρόπους δεδομένων σε ένα ενιαίο διανυσματικό χώρο

Ένας χώρος embedding αντί για πέντε ξεχωριστές διαδικασίες

Ο βασικός πυρήνας αυτής της κυκλοφορίας είναι αρχιτεκτονικός, όχι απλά μια βελτίωση. Το Gemini Embedding 2 αντιστοιχίζει κείμενο, εικόνες, βίντεο, ήχο και έγγραφα σε αυτό που η Google αποκαλεί ενιαίο, κοινό χώρο embedding. Αυτό διαφέρει από το να συρράπτονται ξεχωριστοί κωδικοποιητές ανά τρόπο δεδομένων, ελπίζοντας ότι τα διανύσματά τους θα ευθυγραμμιστούν.

Για τις ομάδες που κατασκευάζουν συστήματα ανάκτησης, το πρακτικό αποτέλεσμα είναι ότι ένα ερώτημα σε έναν τρόπο δεδομένων μπορεί να ανακτήσει περιεχόμενο σε άλλον χωρίς ενδιάμεσο βήμα σύζευξης. Η Google το παρουσιάζει ως απλοποίηση σύνθετων διαδικασιών, και αυτή είναι η ειλικρινής ανάγνωση: λιγότερα ξεχωριστά μοντέλα για φιλοξενία, διαχείριση εκδόσεων και συγχρονισμό.

Το Gemini Embedding 2 αντιστοιχίζει κείμενο, βίντεο, εικόνες, ήχο και έγγραφα σε έναν ενιαίο, κοινό χώρο embedding, και συλλαμβάνει τη σημασιολογική πρόθεση σε πάνω από 100 γλώσσες.Montana Labs

Η κάλυψη άνω των 100 γλωσσών αναφέρεται, χωρίς περαιτέρω ποσοτικοποίηση. Θεωρήστε το ως δήλωση δυνατότητας που πρέπει να επιβεβαιώσετε στο δικό σας σύνολο δεδομένων και όχι ως αποτέλεσμα συγκριτικής αξιολόγησης.

Τα όρια εισόδου καθορίζουν τι μπορείτε στην πραγματικότητα να κατασκευάσετε

Οι λεπτομέρειες μετρούν περισσότερο από τον τίτλο. Το κείμενο υποστηρίζει έως 8192 tokens. Οι εικόνες επιτρέπονται έως 6 ανά αίτημα σε μορφή PNG ή JPEG. Το βίντεο δέχεται έως 120 δευτερόλεπτα σε MP4 ή MOV. Τα έγγραφα μπορούν να είναι PDF έως 6 σελίδων. Αυτά είναι τα όρια γύρω από τα οποία σχεδιάζετε.

Ένα ανώτατο όριο 120 δευτερολέπτων για βίντεο και 6 σελίδων για PDF σημαίνει ότι το μεγαλύτερο περιεχόμενο πρέπει να τεμαχίζεται πριν από το embedding. Αυτή η στρατηγική τεμαχισμού — πού χωρίζετε ένα βίντεο, πώς παραθυρώνετε ένα μεγάλο έγγραφο — γίνεται μια μηχανική απόφαση που το μοντέλο μεταθέτει σε εσάς.

Η λεπτομέρεια για τον ήχο είναι εκείνη που αλλάζει τις ροές εργασίας περισσότερο. Η Google αναφέρει ότι το μοντέλο δέχεται και επεξεργάζεται εγγενώς ήχο χωρίς να απαιτούνται ενδιάμεσες μεταγραφές σε κείμενο. Η κατάργηση του βήματος μετατροπής ομιλίας σε κείμενο εξαλείφει μια πηγή σφαλμάτων και καθυστέρησης που φέρουν σήμερα οι περισσότερες διαδικασίες αναζήτησης ήχου.

Διαπλεκόμενη είσοδος και διαστάσεις Matryoshka

Πέρα από την επεξεργασία ενός μόνο τρόπου δεδομένων, το μοντέλο δέχεται διαπλεκόμενη είσοδο — μια εικόνα μαζί με κείμενο σε ένα αίτημα — ώστε να μπορεί να συλλάβει τις σχέσεις μεταξύ τύπων περιεχομένου, αντί να τα ενσωματώνει το καθένα ξεχωριστά. Αυτή είναι η διαφορά ανάμεσα στην ευρετηρίαση ενός διαγράμματος και της λεζάντας του ξεχωριστά, και στην ενσωμάτωσή τους ως μία ενιαία μονάδα νοήματος.

Ως προς την αποθήκευση, το Gemini Embedding 2 διατηρεί τη Matryoshka Representation Learning από τα προηγούμενα μοντέλα κειμένου. Η προεπιλεγμένη έξοδος έχει 3072 διαστάσεις, και οι προγραμματιστές μπορούν να την περιορίσουν σε 1536 ή 768, με τη Google να συστήνει αυτά τα τρία μεγέθη για την υψηλότερη ποιότητα. Αυτό προσφέρει έναν άμεσο μοχλό για την ισορροπία μεταξύ κόστους αποθήκευσης διανυσμάτων και ποιότητας ανάκτησης, χωρίς επανεκπαίδευση του μοντέλου.

Διαθέσιμο εκεί όπου λειτουργούν ήδη τα συστήματα ανάκτησης

Το μοντέλο κυκλοφορεί σε δημόσια προεπισκόπηση μέσω του Gemini API και του Vertex AI, με διαδραστικά Colab notebooks για αμφότερα. Πιο ενδεικτική για την υιοθέτησή του είναι η λίστα ενσωματώσεων: LangChain, LlamaIndex, Haystack, Weaviate, Qdrant, ChromaDB και Vector Search.

Πρόκειται για τα frameworks και τις διανυσματικές βάσεις δεδομένων στις οποίες βασίζονται ήδη τα περισσότερα συστήματα RAG. Η προσέγγιση των ομάδων μέσα στα υπάρχοντα εργαλεία διαχείρισης ροών και αποθήκευσης μειώνει το κόστος μετάβασης για τη δοκιμή ενός νέου μοντέλου embedding έναντι όσων χρησιμοποιούν σήμερα.

Τι σας καλεί να αναθεωρήσετε ο ενιαίος σχεδιασμός χώρου

Η συγκεκριμένη συνέπεια αυτής της κυκλοφορίας είναι ότι οι ομάδες που διατηρούν ξεχωριστές διαδικασίες embedding ανά τρόπο δεδομένων έχουν πλέον έναν συγκεκριμένο λόγο για ενοποίηση. Εάν ήχος, εικόνες, βίντεο και έγγραφα μπορούν να μοιράζονται έναν ενιαίο διανυσματικό χώρο, η διατροπική ανάκτηση σταματά να είναι εξατομικευμένο έργο και γίνεται απλό ερώτημα.

Το έργο που παραμένει είναι λιγότερο εντυπωσιακό αλλά ουσιαστικό: να αξιολογήσετε την υποσχόμενη πολυτροπική ποιότητα στα δικά σας δεδομένα, να σχεδιάσετε τεμαχισμό για περιεχόμενο που υπερβαίνει τα όρια των 120 δευτερολέπτων και των 6 σελίδων, και να επιλέξετε μια διάσταση MRL που ταιριάζει στον προϋπολογισμό αποθήκευσής σας. Πρόκειται για δημόσια προεπισκόπηση, οπότε αυτές οι αποφάσεις πρέπει να επικυρωθούν πριν βασιστεί σε αυτές οτιδήποτε κρίσιμο.