Gemini Embedding 2 racchiude cinque modalità in un unico spazio vettoriale

Un solo spazio di embedding invece di cinque pipeline

La novità principale di questo rilascio è architetturale, non incrementale. Gemini Embedding 2 mappa testo, immagini, video, audio e documenti in quello che Google definisce un unico spazio di embedding unificato. È tutt'altra cosa rispetto a mettere insieme encoder separati per ogni modalità sperando che i loro vettori si allineino.

Per i team che costruiscono sistemi di retrieval, l'effetto pratico è che una query in una modalità può recuperare contenuti in un'altra senza bisogno di un passaggio intermedio. Google lo presenta come una semplificazione di pipeline complesse, e questa è una lettura onesta: meno modelli separati da hostare, versionare e mantenere sincronizzati.

Gemini Embedding 2 mappa testo, immagini, video, audio e documenti in un unico spazio di embedding unificato, e cattura l'intento semantico in oltre 100 lingue.Montana Labs

La copertura di oltre 100 lingue viene dichiarata ma non quantificata oltre questo. Va considerata come un'affermazione sulle capacità del modello da verificare sul proprio corpus, non come un risultato di benchmark.

I limiti di input definiscono cosa puoi effettivamente costruire

I dettagli contano più del titolo. Il testo supporta fino a 8192 token. Le immagini sono ammesse fino a 6 per richiesta, in formato PNG o JPEG. I video sono accettati fino a 120 secondi, in MP4 o MOV. I documenti possono essere PDF di massimo 6 pagine. Questi sono i confini entro cui progettare.

Un tetto di 120 secondi per i video e un limite di 6 pagine per i PDF significano che i contenuti più lunghi vanno suddivisi prima dell'embedding. Questa strategia di suddivisione — come tagliare un video, come finestrare un documento lungo — diventa una decisione ingegneristica che il modello lascia a te.

Il dettaglio sull'audio è quello che cambia di più i flussi di lavoro. Google afferma che il modello acquisisce ed embedda nativamente l'audio senza bisogno di trascrizioni testuali intermedie. Eliminare il passaggio di speech-to-text elimina una fonte di errore e latenza che la maggior parte delle pipeline di ricerca audio porta con sé oggi.

Input interlacciati e dimensioni Matryoshka

Oltre all'elaborazione a singola modalità, il modello accetta input interlacciati — un'immagine più testo in un'unica richiesta — così può catturare le relazioni tra tipi di media invece di embedderli isolatamente. È la differenza tra indicizzare un diagramma e la sua didascalia separatamente, oppure embedderli come un'unica unità di significato.

Per quanto riguarda l'archiviazione, Gemini Embedding 2 mantiene il Matryoshka Representation Learning già visto nei modelli di testo precedenti. L'output predefinito è di 3072 dimensioni, e gli sviluppatori possono scalare fino a 1536 o 768, con Google che consiglia queste tre dimensioni per la massima qualità. Questo offre una leva diretta per bilanciare il costo di archiviazione dei vettori con la qualità del retrieval, senza dover riaddestrare nulla.

Disponibile dove vivono già gli stack di retrieval

Il modello è disponibile in anteprima pubblica tramite Gemini API e Vertex AI, con notebook Colab interattivi per entrambi. Più significativo per l'adozione è l'elenco delle integrazioni: LangChain, LlamaIndex, Haystack, Weaviate, Qdrant, ChromaDB e Vector Search.

Sono i framework e i database vettoriali su cui si basa già la maggior parte dei sistemi RAG. Raggiungere i team all'interno dei loro strumenti di orchestrazione e archiviazione già esistenti riduce il costo di passaggio necessario per testare un nuovo modello di embedding rispetto a quello che usano oggi.

Cosa ti chiede di riconsiderare il design a spazio unico

L'implicazione concreta di questo rilascio è che i team che mantengono pipeline di embedding separate per ogni modalità hanno ora un motivo concreto per consolidarle. Se audio, immagini, video e documenti possono condividere un unico spazio vettoriale, il retrieval cross-modale smette di essere un progetto su misura e diventa semplicemente una query.

Il lavoro che resta da fare è poco appariscente ma reale: verificare la qualità multimodale dichiarata sui propri dati, progettare la suddivisione per i contenuti che superano i limiti di 120 secondi e 6 pagine, e scegliere una dimensione MRL adatta al proprio budget di archiviazione. Si tratta di un'anteprima pubblica, quindi queste decisioni vanno validate prima che qualcosa ne dipenda davvero.