Google leva vídeo em direto e partilha de ecrã ao Gemini Live no Android

O que a Google demonstrou realmente na Android Avenue

A Google usou o seu stand na MWC, localizado na "Android Avenue", entre os Pavilhões 2 e 3, para mostrar duas funcionalidades já existentes e uma nova. As funcionalidades já existentes eram o Gemini Live a lidar com temas complexos em várias línguas e o Circle to Search a traduzir a ementa de um restaurante.

O verdadeiro elemento novo é o vídeo em direto e a partilha de ecrã dentro do Gemini Live. Trata-se de uma mudança na modalidade de input: em vez de perguntar sobre uma única imagem captada, o utilizador pode apontar uma câmara em funcionamento para o mundo real ou partilhar o que está no ecrã, e o Gemini responde com base nesse fluxo contínuo.

As duas demonstrações revelam o caso de uso pretendido

A Google escolheu cenários com um estilo orientado ao consumidor para ilustrar a funcionalidade. Na demonstração de vídeo, uma pessoa filma vários esmaltes de cerâmica e pergunta qual combina com um estilo mid-century modern; com base nos vasos acabados que vê, o Gemini sugere verde-oliva ou azul suave.

Na demonstração de partilha de ecrã, um utilizador partilha uma fotografia de calças de ganga do seu ecrã e pede sugestões de look. O Gemini propõe uma T-shirt branca ou uma camisola de gola alta e, quando questionado sobre um casaco, recomenda ganga ou bomber.

Ambos os exemplos são conselhos estéticos de baixo risco. Trata-se de uma escolha de enquadramento deliberada. As demonstrações mostram o modelo a raciocinar sobre contexto visual ambíguo em vez de procurar uma resposta definitiva, o que se adequa a perguntas subjetivas em que uma sugestão errada tem pouco custo.

A restrição por subscrição é o pormenor decisivo

...novas capacidades de vídeo em direto e partilha de ecrã no Gemini Live, que começarão a ser disponibilizadas aos subscritores do Gemini Advanced como parte do plano Google One AI Premium em dispositivos Android ainda este mês.Montana Labs

A funcionalidade não é um lançamento generalizado para Android. Está limitada aos subscritores do Gemini Advanced no plano Google One AI Premium, em Android, com início ainda em março. A inferência contínua de vídeo e ecrã é dispendiosa de servir, por isso restringi-la a subscritores pagantes alinha o custo computacional com uma fonte de receita.

O ângulo dos dispositivos parceiros também é relevante aqui: a Google nota que os mais recentes dispositivos parceiros Android dão vida a estas experiências, associando a capacidade de software a hardware que a própria Google não vende.

O que o input visual contínuo muda para quem desenvolve para Android

A passagem de uma única imagem para um input em fluxo contínuo é o aspeto que as equipas devem acompanhar. Uma captura estática é uma chamada de API contra um único frame; uma sessão de vídeo ou de ecrã partilhado implica inferência sustentada, estado de sessão e limites de latência que se comportam de forma diferente em condições reais de rede, seja num pavilhão de exposição ou numa rua.

A decisão da Google de lançar esta funcionalidade apenas na subscrição Advanced, e não no nível gratuito, é um sinal sobre o perfil de custo da assistência multimodal sempre ativa. Para quem planeia funcionalidades semelhantes, a limitação a considerar não é a capacidade do modelo, mas a economia por sessão de manter um fluxo de câmara ou de ecrã em funcionamento contra um modelo de grande dimensão.