Algunas de las tecnologías detrás de SAM 3D que me emocionan particularmente: 1⃣ Los conjuntos de datos 3D existentes (Objaverse-XL, ProcTHOR, etc.) son excelentes para enseñar "prioridades 3D" (forma y apariencia básicas). Pero no son suficientes para cerrar completamente la brecha con el mundo real, donde las escenas están desordenadas, los objetos están ocultos, son pequeños y, en general, son caóticos. 2⃣ Entra nuestro motor de datos 3D con modelo en el bucle: el modelo ➜ predice 3D a partir de imágenes reales ➜ los humanos verifican rápidamente buenos candidatos (sí/no solamente) ➜ el 3D verificado vuelve a la capacitación ➜ el modelo mejorado vuelve a entrar en el bucle. Un ciclo virtuoso que mejora la calidad de la anotación 3D, la velocidad de etiquetado y el rendimiento del modelo, sin requerir herramientas 3D o experiencia en diseño. 3⃣ Los objetivos 3D son complicados: ninguna pérdida diferenciable en forma cerrada captura completamente la "buena 3Didad" (simetrías, suavidad, completitud). Así que tomamos prestado del libro de jugadas de LLM y realizamos un post-entrenamiento con datos de preferencias humanas. Esta alineación apenas se refleja en las métricas (que heredan las mismas limitaciones que las pérdidas) pero mejora drásticamente la calidad percibida de las salidas 3D. Más detalles en el documento.

¡Convierte cualquier cosa en 3D a partir de una sola imagen! ¡Muy emocionado de anunciar SAM 3D! A partir de una imagen de entrada, selecciona cualquier objeto que desees, ¡conviértelo en 3D! Blog: Demo: