Um novo artigo de pesquisa de IA da Microsoft promete um futuro onde você poderá fazer upload de uma foto, uma amostra de sua voz e criar uma cabeça falante animada e ao vivo com seu próprio rosto.
VASA-1 captura uma única foto de retrato e um arquivo de áudio e os converte em um vídeo de rosto falante hiper-realista, completo com sincronização labial, características faciais realistas e movimento da cabeça.
O modelo é atualmente apenas uma prévia da pesquisa e não está disponível para ninguém fora da equipe de pesquisa da Microsoft experimentar, mas os vídeos de demonstração parecem impressionantes.
Tecnologia semelhante de sincronização labial e movimento da cabeça já está disponível na Runway e Nvidia, mas parece ser de qualidade e realismo muito mais elevados, reduzindo artefatos na boca. Esta abordagem à animação baseada em áudio também é semelhante a um modelo recente do VLOGGER AI do Google Research.
Como funciona o VASA-1?
A Microsoft diz que esta é uma nova estrutura para a criação de rostos falantes realistas e especificamente para animar personagens virtuais. Todas as pessoas nos exemplos eram sintéticas, feitas com DALL-E, mas se puder animar uma imagem realista de IA, poderá animar uma foto real.
Na demonstração, vemos pessoas conversando como se estivessem sendo filmadas, com movimentos ligeiramente espasmódicos, mas de aparência natural. A sincronização labial é muito impressionante, com movimento natural e sem artefatos na parte superior e inferior da boca vistos em outras ferramentas.
Uma das coisas mais impressionantes sobre o VASA-1 parece ser o fato de que ele não requer uma imagem no estilo retrato voltado para a frente para funcionar.
Existem exemplos com fotos voltadas para várias direções. O modelo também parece ter um alto grau de controle, capaz de tomar a direção do olhar, a distância da cabeça e até a emoção como insumo para orientar a geração.
Qual é o objetivo do VASA-1?
Um dos casos de uso mais óbvios para isso é na sincronização labial avançada para jogos. Ser capaz de criar NPCs controlados por IA com movimentos naturais dos lábios pode ser uma virada de jogo para a imersão.
Também poderia ser usado para criar avatares virtuais para vídeos em mídias sociais, como já foi visto em empresas como HeyGen e Synthesia. Uma outra área é a produção de filmes baseada em IA. Você poderia fazer um videoclipe mais realista se tivesse um cantor de IA que parecesse estar cantando.
Dito isso, a equipe afirma que esta é apenas uma demonstração de pesquisa, sem planos de lançamento público ou mesmo de disponibilização para desenvolvedores para uso em produtos.
Quão bem o VASA-1 funciona?
Uma coisa que surpreendeu os pesquisadores foi a capacidade do VASA-1 de sincronizar perfeitamente os lábios de uma música, refletindo as palavras do cantor sem problemas, apesar de nenhuma música ter sido usada no conjunto de dados de treinamento. Também lidou com diferentes estilos de imagem, incluindo a Mona Lisa.
Eles conseguiram criar imagens de 512×512 pixels a 45 quadros por segundo e podem fazer isso em cerca de 2 minutos usando uma GPU Nvidia RTX 4090 para desktop.
Embora digam que isso é apenas para pesquisa, será uma pena se isso não for de domínio público, mesmo que apenas para desenvolvedores, como eu adoraria ver isso no Runway ou no Pika Labs. Dado que a Microsoft tem uma grande participação na OpenAI, isso poderia até fazer parte de uma futura integração do Copilot Sora.
- Anunciado MacBook Air M3 – pré-encomendas abertas agora para o ‘melhor laptop de consumo do mundo para IA’
- Testei Google Gemini vs OpenAI ChatGPT em um confronto direto de 9 rodadas – aqui está o vencedor
- OpenAI está construindo IA GPT-5 de próxima geração – e o CEO afirma que poderia ser superinteligente