News · A 'Dear Upstairs Neighbors' da Google mostra a superfície de controlo, não a caixa de prompt

Jan, 264 min de leitura
Frontend

A 'Dear Upstairs Neighbors' da Google mostra a superfície de controlo, não a caixa de prompt

Uma curta-metragem do Sundance, construída com modelos Veo e Imagen ajustados, revela o aspeto real de uma interface de produção para vídeo generativo: input visual, edição localizada e revisão iterativa.

A equipa admitiu abertamente que o prompting por texto falhou

A maioria das demos de vídeo generativo começa pelo prompt. Esta começa pela sua rejeição. A publicação afirma sem rodeios que usar texto-para-vídeo com um modelo Veo ajustado 'produzia cenas que pareciam a Ada, mas cujo movimento era aleatório, descontrolado e muitas vezes bizarro.'

O texto por si só não consegue transmitir a nuance e a especificidade necessárias para uma animação narrativa.Montana Labs

Trata-se de uma admissão notável por parte da empresa que desenvolve o modelo. Os animadores precisavam de controlar 'o ritmo dos dedos sonolentos da Ada a escrever, o timing cómico das suas expressões faciais ou o enquadramento exato de uma revelação de câmara' — e a interface para isso acabou por ser animação rudimentar desenhada em Maya e TV Paint, não um parágrafo de descrição. O frontend para geração profissional de vídeo é uma tela, não uma caixa de chat.

O vídeo-para-vídeo coloca a ferramenta do próprio artista em primeiro plano

O fluxo de trabalho que a equipa chama de 'mostrar, não escrever' permitiu aos animadores trabalhar no seu software habitual e alimentar animação rudimentar a modelos ajustados que a reestilizam. Os exemplos são concretos: o rough 3D de Ben Knight em Maya, reestilizado por Andy Coenen; o 2D de Mattias Breitholtz em TV Paint, transformado fotograma a fotograma por Forrester Cole através de um workflow personalizado em ComfyUI com Imagen ajustado; os efeitos low-poly de Steven Chao, convertidos no estilo expressionista por Ellen Jiang e Connie He.

O pormenor que se repete é que cada artista permaneceu 'na sua zona de conforto, usando as suas ferramentas de animação preferidas.' O modelo torna-se uma fase de transformação num pipeline já existente, e não o ponto de partida. Crucialmente, a publicação descreve 'um equilíbrio ajustável entre controlo rígido e improviso criativo' — ou seja, a interface expõe um botão de controlo, não um comportamento fixo. Essa ajustabilidade é, no fundo, a verdadeira funcionalidade por detrás do filme.

O refinamento localizado e as 'dailies' substituem a geração num só clique

A publicação é categórica ao afirmar que 'nenhum dos planos finais foi criado numa única geração de um clique.' Em vez disso, a equipa realizou tradicionais sessões de revisão 'dailies' ao longo de várias rondas de feedback, e construiu ferramentas para refinamento localizado — editando regiões específicas de um vídeo com um nível de controlo ajustável. O exemplo concreto é Erika Lu a adicionar uma máscara rudimentar para indicar onde a silhueta do cabelo da Ada precisava de mais volume, com o Veo a improvisar uma mecha extra que encaixava no plano.

Trata-se de edição por região aplicada a vídeo, o mesmo padrão de interação que tornou o inpainting utilizável nas ferramentas de imagem. Aplicado a um meio temporal, resolve a falha central do vídeo generativo em produção: a incapacidade de corrigir um único elemento sem ter de regerar tudo. Este fluxo de trabalho permitiu também à equipa 'alternar livremente entre o Veo e ferramentas tradicionais como o Premiere,' o que significa que o resultado do modelo permanecia um recurso editável, e não um entregável fechado.

O ajuste fino ensinou estrutura profunda, não apenas estilo superficial

A equipa ajustou modelos Veo e Imagen personalizados 'a partir de apenas algumas imagens de exemplo' da obra de Yingzong Xin. O resultado que a publicação destaca não é a correspondência de cor e textura, mas sim o modelo a resolver uma contradição de design: a personagem Ada segue regras rígidas em 2D, em que o volume do seu cabelo deve manter-se sempre em silhueta e nunca cobrir o rosto — uma restrição que uma escultura 3D literal não conseguiria cumprir a partir de todos os ângulos. O Veo ajustado 'adapta suavemente as formas para manter a silhueta correta à medida que a cabeça gira.'

Esta é a afirmação de engenharia mais interessante, porque sugere que o ajuste fino captou uma regra sobre o design, e não apenas uma aparência. Para as equipas que avaliam fluxos de trabalho de ajuste personalizado, isto reformula o valor da abordagem: um pequeno conjunto de exemplos pode codificar uma intenção que seria impraticável especificar de forma processual.

A única peça pronta a lançar: o upscaling 4K do Veo

A maior parte do que este filme demonstra — as ferramentas de ajuste fino, os fluxos de vídeo-para-vídeo, a edição local com máscaras — é descrita como capacidades que os investigadores 'tiveram de desenvolver' para a produção, e não produtos com data de lançamento definida. A única exceção é o upscaling 4K do Veo, que, segundo a publicação, já está disponível no Flow e 'chegará ao Google AI Studio e ao Vertex AI ainda este mês.'

Assim, a implicação prática para quem constrói sobre a stack da Google é estreita e específica: o entregável imediato desta demonstração do Sundance é uma ferramenta de acabamento, não a superfície de controlo que tornou o filme possível. Os padrões de interação que efetivamente resolveram os problemas difíceis — input orientado ao visual, controlo ajustável, iteração ao nível da região dentro de um ciclo de dailies — continuam a ser prototipos de investigação. O filme é uma antevisão da interface que o vídeo generativo profissional acabará por exigir; a API que poderá chamar no próximo mês é apenas o upscaler no final desse processo.

Find this story relevant to you?

Contact us to find a unique solution

Contact us

Precisa de um parceiro de engenharia de IA que saiba executar?

Ajudamos equipas em Portugal a integrar IA em produtos, automatizar processos de alto valor e modernizar os sistemas que suportam o negocio.

Get in touch

Leitura relacionada

Mais análises sobre entrega de produto, AI operacional e o trabalho de sistemas que faz com que a implementação funcione na prática.

Jul, 134 min de leitura
Frontend

A DNP colocou o ChatGPT Enterprise diante de dez departamentos e tratou a janela de chat como interface

Jul, 134 min de leitura
Frontend

A AdventHealth implementa o ChatGPT em nove estados ao tratar a adoção como o produto

Jul, 13Leitura de 4 min
Frontend

A AP+ utiliza a Codex para criar prototípagens de pagamento funcionais, e não apenas ecrãs clicáveis