Por 
Audio2Face em código aberto promete criar avatares 3D realistas com sincronização labial em tempo real
A NVIDIA anunciou a liberação em código aberto de sua tecnologia Audio2Face, que utiliza inteligência artificial generativa para criar animações faciais realistas a partir de áudio. A ferramenta, já aplicada em jogos, mídia e atendimento ao cliente, permite que desenvolvedores criem personagens 3D com expressões emocionais autênticas e sincronização labial precisa, seja em tempo real ou em conteúdos pré-roteirizados.
Animação facial impulsionada por IA
O Audio2Face funciona analisando fonemas, entonação e outros recursos acústicos do áudio para gerar um fluxo de dados de animação facial. Esses dados podem ser aplicados em personagens digitais para criar expressões naturais, ampliando a imersão em jogos e experiências interativas.
Agora, com o código aberto do SDK e modelos da tecnologia, qualquer desenvolvedor pode implementar personagens de alta fidelidade em seus projetos e até personalizar os modelos existentes por meio da estrutura de treinamento disponibilizada pela NVIDIA. O objetivo é acelerar a adoção de avatares movidos por IA e criar um ciclo de melhorias colaborativo entre desenvolvedores, pesquisadores e estudantes.
Integração com ferramentas de criação e jogos
Empresas como Reallusion e Survios já utilizam o Audio2Face para otimizar seus processos de criação de personagens. Elvis Huang, Head of Innovation da Reallusion, destacou:
“A integração com iClone, Character Creator e iClone AI Assistant torna a produção de animações faciais de alta qualidade mais fácil do que nunca.”
Eugene Elkin, Game Director da Survios, reforçou a importância da tecnologia:
“Ao integrar o Audio2Face no Alien: Rogue Incursion Evolved Edition, simplificamos a sincronização labial e captura facial, oferecendo personagens mais imersivos e autênticos para os jogadores.”
Atualizações recentes do RTX Kit
Além do Audio2Face, a NVIDIA também trouxe melhorias para o RTX Kit, conjunto de tecnologias de renderização neural, incluindo:
- RTX Neural Texture Compression SDK: otimização de texturas de alta qualidade, maior desempenho com DX12 e suporte ao DLSS.
- RTX Global Illumination SDK: soluções avançadas de iluminação indireta com Ray Tracing e novas opções de depuração e visualização de materiais.
vGPU expande possibilidades para estúdios
A tecnologia NVIDIA vGPU permite que múltiplos desenvolvedores compartilhem GPUs em ambientes virtuais. A Activision, por exemplo, reduziu de 100 para apenas seis servidores RTX, cortando 82% da infraestrutura física e 72% do consumo de energia, enquanto mais de 3.000 desenvolvedores executam 250 mil tarefas diárias em testes de jogos e pipelines de integração.
Com essas iniciativas, a NVIDIA reforça sua posição na vanguarda da criação de personagens digitais, tornando tecnologias avançadas de animação e renderização mais acessíveis a toda a comunidade de desenvolvedores de jogos e aplicativos 3D.