A NVIDIA anunciou o ‘LATTE3D’, seu mais recente modelo de IA generativo de texto para 3D – transformando prompts de texto em representações 3D de objetos e animais em um segundo, ‘como uma impressora 3D virtual’. Criadas em um formato popular usado para aplicações de renderização padrão, as formas geradas podem ser facilmente utilizadas em ambientes virtuais para desenvolvimento de videogames, campanhas publicitárias, projetos de design ou campos de treinamento virtuais para robótica. Considerando a trajetória, uma oferta confiável de arquivos de texto para impressão em 3D está no horizonte.
“Há um ano, levava uma hora para que os modelos de IA gerassem visuais 3D dessa qualidade – e o estado da arte atual agora gira em torno de 10 a 12 segundos”, disse Sanja Fidler, vice-presidente de pesquisa de IA da NVIDIA. “Agora podemos produzir resultados muito mais rápidos, colocando a geração de texto em 3D quase em tempo real ao alcance de criadores de todos os setores.”
Esse avanço significa que o LATTE3D pode produzir formas 3D quase instantaneamente ao executar inferência em uma única GPU, como a NVIDIA RTX A6000, que foi usada na demonstração da NVIDIA Research.
Em vez de começar um design do zero ou vasculhar uma biblioteca de recursos 3D, um criador poderia usar o LATTE3D para gerar objetos detalhados quase instantaneamente. O modelo gera algumas opções diferentes de formas 3D com base em cada prompt de texto. Os objetos selecionados podem ser otimizados para maior qualidade em poucos minutos. Em seguida, os usuários podem exportar a forma para aplicativos de software gráfico ou plataformas como NVIDIA Omniverse, que permite fluxos de trabalho e aplicativos 3D baseados em Universal Scene Description (OpenUSD).
Embora os pesquisadores tenham treinado o LATTE3D em dois conjuntos de dados específicos – animais e objetos do cotidiano – os desenvolvedores poderiam usar a mesma arquitetura de modelo para treinar a IA em outros tipos de dados.
Se treinada em um conjunto de dados de plantas 3D, por exemplo, uma versão do LATTE3D poderia ajudar um paisagista a preencher rapidamente uma representação de jardim com árvores, arbustos floridos e suculentas, enquanto faz um brainstorming com um cliente. Se treinado em objetos domésticos, o modelo poderia gerar itens para preencher simulações 3D de casas, que os desenvolvedores poderiam usar para treinar robôs assistentes pessoais antes de serem testados e implantados no mundo real.
LATTE3D foi treinado usando GPUs NVIDIA A100 Tensor Core. Além das formas 3D, o modelo foi treinado em diversos prompts de texto gerados usando ChatGPT para melhorar a capacidade do modelo de lidar com as diversas frases que um usuário pode usar para descrever um objeto 3D específico – por exemplo, entendendo que os prompts apresentando várias espécies caninas todos devem gerar formas semelhantes a cães. Para saber mais sobre o modelo acesse o site.
