A nova ferramenta de inteligência artificial Lumiere da Google permite criar vídeos com movimentos realistas e até usar imagens e outros clipes de vídeos para melhorar o resultado final. O Lumiere foi revelado num artigo científico denominado ‘A Space-Time Diffusion Model for Video Generation’ e funciona de um modo diferente de outros modelos de inteligência artificial dedicados à geração de vídeos porque gera logo a duração total do vídeo, enquanto os outros geram várias keyframes e vão preenchendo os espaços entre elas.
Simplificando, o Lumiere foca-se no movimento dos objectos no vídeo, já os outros modelos “costuram” um vídeo a partir de keyframes em que esse movimento ocorreu algures no passado.
Na fase actual, o Lumiere é capaz de gerar vídeos com apenas 80 frames. O que é bastante se comprarmos com o Stable Diffusion da Stability que apenas consegue gerar vídeos entre as 14 e as 25 frames. Naturalmente, quanto maior for o número de imagens ou frames, mais suave será o vídeo.
Os autores do Lumiere reivindicam que o modelo consegue produzir resultados muito avançados por usar um método completamente diferente de todos os outros. Segundo os autores, o Lumiere pode ser usado não só em tarefas de criação de conteúdos, mas também em tarefas de edição através da edição automática das frames individuais dos vídeos e geração de imagens estilizadas semelhantes às imagens que lhe são mostradas.
Todos podem ser realizadores
Para atingir estes resultados, O Lumiere usa uma arquitectura nova, chamada Space-Time U-Net que é capaz de gerar a duração temporal do vídeo de uma só vez e apenas com uma única passagem das imagens pelo modelo de IA. Os autores dizem que este novo método melhora a consistência dos resultados.
O objectivo final do Lumiere será o de inventar um sistema que permita aos utilizadores menos experientes criarem facilmente conteúdos em vídeo. No entanto, os mesmos autores admitem que o Lumiere acarreta o risco de ser usado na criação de conteúdos falsos e maliciosos.Apesar de existir, a Google ainda não disponibilizou o Lumiere ao público, mas publicou uma página no GitHub que mostra os resultados da pesquisa inicial.
