Algumas das tecnologias por trás do SAM 3D que me deixam especialmente empolgado: 1⃣ Conjuntos de dados 3D existentes (Objaverse-XL, ProcTHOR, etc.) são ótimos para ensinar "3D priors" (forma e aparência básicas). Mas não são suficientes para fazer a ponte total com o mundo real, onde as cenas são confusas, os objetos são obstruídos, pequenos e geralmente bagunçados. 2⃣Entra em cena nosso motor de dados 3D model-in-the-loop: modelo ➜ prevê 3D a partir de imagens reais ➜ humanos avaliam rapidamente bons candidatos (sim/não apenas) ➜ 3D avaliado volta para treinamento ➜ modelo melhorado retorna ao ciclo. Um ciclo virtuoso que melhora a qualidade da anotação 3D, a velocidade de rotulagem e o desempenho do modelo, sem exigir ferramentas 3D ou expertise em design. 3⃣Objetivos 3D são complicados: nenhuma perda diferenciável em forma fechada captura totalmente a "boa 3D" (simetrias, suavidade, completude). Então pegamos emprestado do manual do LLM e depois do treinamento com dados de preferência humana. Esse alinhamento dificilmente aparece nas métricas (que herdam as mesmas limitações das perdas), mas melhora dramaticamente a qualidade percebida dos resultados 3D. Mais detalhes no jornal.

Faça qualquer coisa de uma única imagem! Muito feliz em anunciar SAM 3D. A partir de uma imagem de entrada, selecione qualquer objeto que quiser, faça um 3Dfy nele! Blogue: Demo: