TRELLIS: Geração de modelos 3D versátil e de alta qualidade

O TRELLIS é um novo modelo de IA para gerar objetos 3D de alta qualidade a partir de texto ou imagens. Este modelo utiliza uma representação latente 3D estruturada unificada (SLAT) e transformadores de fluxo retificado, permitindo a criação versátil de ativos 3D. O TRELLIS pode gerar diferentes formatos de saída, como campos de radiação, Gaussianas 3D e meshes.

Principais características do TRELLIS:

•Representação SLAT: Integra uma grelha 3D escassamente preenchida com características visuais densas multi-view, capturando informação estrutural (geometria) e textural (aparência).

•Modelos de geração 3D: Utiliza transformadores de fluxo retificado adaptados para lidar com a dispersão em SLAT.

•Capacidade de edição: Permite a seleção flexível do formato de saída e das capacidades de edição 3D local. O TRELLIS pode manipular regiões locais de um ativo 3D com base em prompts de texto ou imagem.

•Geração versátil: O TRELLIS consegue gerar variantes de um dado ativo 3D coerentes com prompts de texto.

Link: https://trellis3d.github.io/

Geração de modelos 3D a partir de imagens:

O TRELLIS permite gerar modelos 3D a partir de imagens. No caso concreto mencionado, foram utilizadas 3 fotos de um Honda Jazz para gerar um modelo 3D. Os modelos 3D gerados pelo TRELLIS podem ser visualizados como Gaussianas 3D ou meshes. Os ficheiros GLB podem ser extraídos, aplicando a aparência de Gaussianas 3D para meshes.

SuperSplat:

O modelo 3D gerado a partir das 3 fotos do Honda Jazz foi partilhado no SuperSplat.

Em síntese, o TRELLIS apresenta-se como uma ferramenta poderosa para a geração de modelos 3D versátil e de elevada qualidade, com capacidade de edição e suporte para diferentes formatos de saída. A sua aplicação na geração de um modelo 3D de um Honda Jazz a partir de 3 fotos, partilhado no SuperSplat, demonstra o seu potencial prático.

Link: https://superspl.at/view?id=20096bd5