News · "Dear Upstairs Neighbors", do Google, mostra a superfície de controle, não a caixa de prompt

Jan, 264 min de leitura
Frontend

"Dear Upstairs Neighbors", do Google, mostra a superfície de controle, não a caixa de prompt

Um curta do Sundance feito com modelos Veo e Imagen ajustados (fine-tuned) revela como é, na prática, uma interface de produção para vídeo generativo: entrada visual, edição localizada e revisão iterativa.

A equipe admitiu abertamente que o prompting via texto não funcionou

A maioria das demos de vídeo generativo começa destacando o prompt. Esta começa destacando a rejeição dele. O post afirma sem rodeios que usar texto-para-vídeo com um modelo Veo ajustado 'gerava cenas que pareciam a Ada, mas o movimento era aleatório, incontrolável e muitas vezes bizarro.'

Texto por si só não consegue transmitir a nuance e a especificidade necessárias para uma animação narrativa.Montana Labs

É uma admissão e tanto vindo da empresa que desenvolve o modelo. Os animadores precisavam controlar 'o ritmo dos dedos sonolentos da Ada digitando, o timing cômico das expressões faciais dela, ou o enquadramento exato de uma revelação de câmera' — e a interface que resolveu isso foi uma animação em rascunho feita no Maya e no TV Paint, não um parágrafo de descrição. O frontend para geração profissional de vídeo é uma tela de desenho, não uma caixa de chat.

Vídeo-para-vídeo coloca a própria ferramenta do artista em primeiro plano

O fluxo de trabalho que a equipe chama de 'mostrar, não digitar' deixou os animadores trabalharem em seus próprios softwares e alimentar modelos ajustados com animações em rascunho, que então reestilizavam o material. Os exemplos são específicos: o rascunho 3D de Ben Knight no Maya reestilizado por Andy Coenen; a animação 2D de Mattias Breitholtz no TV Paint transformada quadro a quadro por Forrester Cole através de um fluxo customizado no ComfyUI com Imagen ajustado; os efeitos low-poly de Steven Chao convertidos para o visual expressionista por Ellen Jiang e Connie He.

O detalhe que se repete é que cada artista permaneceu 'na sua zona de conforto, usando suas ferramentas de animação favoritas.' O modelo se torna uma etapa de transformação dentro de um pipeline já existente, e não o ponto de partida. O mais importante é que o post descreve 'um equilíbrio ajustável entre controle rígido e improvisação criativa' — ou seja, a interface expõe um botão de controle, não um comportamento fixo. Essa ajustabilidade é, na prática, o recurso do produto por trás do filme.

Refinamento localizado e revisões diárias substituem a geração de um clique só

O post é enfático ao dizer que 'nenhuma das nossas cenas finais foi criada em uma única geração de um clique.' Em vez disso, a equipe fez revisões tradicionais estilo 'dailies' em várias rodadas de feedback, e construiu ferramentas para refinamento localizado — editando regiões específicas de um vídeo com um nível de controle ajustável. O exemplo concreto é Erika Lu adicionando uma máscara em rascunho para indicar onde a silhueta do cabelo da Ada precisava de mais volume, e o Veo improvisando uma mecha extra que se encaixou perfeitamente na cena.

Isso é edição baseada em região aplicada a vídeo, o mesmo padrão de interação que tornou o inpainting utilizável em ferramentas de imagem. Aplicado a uma mídia temporal, isso resolve a falha central do vídeo generativo em produção: a incapacidade de corrigir uma coisa sem precisar regenerar tudo de novo. O fluxo também permitiu que a equipe 'alternasse livremente entre o Veo e ferramentas tradicionais como o Premiere', o que significa que a saída do modelo continuou sendo um material editável, e não uma entrega travada.

O fine-tuning ensinou estrutura profunda, não só estilo superficial

A equipe ajustou modelos customizados do Veo e do Imagen 'a partir de apenas algumas imagens de exemplo' da arte de Yingzong Xin. O resultado que o post destaca não é a correspondência de cor e textura, mas o modelo resolvendo uma contradição de design: a personagem Ada segue regras estritas de 2D em que o volume do cabelo precisa permanecer sempre em silhueta e nunca cobrir o rosto — uma restrição que uma escultura 3D literal não consegue satisfazer de todos os ângulos. O Veo ajustado 'adapta as formas suavemente para manter a silhueta correta enquanto a cabeça gira.'

Essa é a afirmação técnica mais interessante, porque sugere que o fine-tuning capturou uma regra do design, e não apenas uma aparência. Para equipes avaliando fluxos de ajuste customizado, isso reformula o valor da coisa: um conjunto pequeno de exemplos pode codificar uma intenção que seria inviável especificar de forma procedural.

A única parte que já vai para produção: upscaling em 4K do Veo

A maior parte do que esse filme demonstra — as ferramentas de fine-tuning, os fluxos vídeo-para-vídeo, a edição local com máscaras — é descrita como capacidades que os pesquisadores 'tiveram que desenvolver' para a produção, não produtos com data de lançamento. A única exceção é o upscaling em 4K do Veo, que segundo o post já está disponível no Flow e 'chega ao Google AI Studio e ao Vertex AI ainda este mês.'

Então a implicação prática para quem constrói sobre a stack do Google é bem específica e limitada: a entrega imediata dessa vitrine do Sundance é uma ferramenta de acabamento, não a superfície de controle que tornou o filme possível. Os padrões de interação que de fato resolveram os problemas difíceis — entrada visual em primeiro lugar, controle ajustável, iteração no nível de região dentro de um ciclo de dailies — continuam sendo prototipos de pesquisa. O filme é um prévia da interface que o vídeo generativo profissional vai precisar eventualmente; a API que você vai poder chamar no mês que vem é só o upscaler no final desse processo.

Find this story relevant to you?

Contact us to find a unique solution

Contact us

Precisa de um parceiro de engenharia de IA que consiga construir de verdade?

Ajudamos empresas no Brasil a integrar IA, acelerar produtos com IA, automatizar operações e modernizar os sistemas de software por trás do negócio.

Get in touch

Leituras relacionadas

Mais análises sobre entrega de produto, IA operacional e o trabalho de sistemas que faz a implantação se sustentar na prática.

Jul, 134 min de leitura
Frontend

A DNP colocou o ChatGPT Enterprise à disposição de dez departamentos e tratou a janela de chat como a interface

Jul, 134 min de leitura
Frontend

AdventHealth implementa o ChatGPT em nove estados tratando a adoção como o produto

Jul, 134 min de leitura
Frontend

A AP+ usa o Codex para criar protótipos de pagamento que realmente funcionam, não só telas clicáveis