¡Tuve acceso anticipado a PixVerse-R1, un modelo de mundo en tiempo real! ¡Esto es bastante prometedor! R1 es un paradigma fundamentalmente diferente: En lugar de generar clips fijos, crea flujos visuales infinitos y continuos que responden instantáneamente a la entrada del usuario. (Códigos de invitación a continuación)

¡La plataforma genera videos notablemente rápido! Puedes comenzar con un clip y agregarle nuevas escenas. El modelo mantiene la coherencia a medida que avanzas. La mayoría de las herramientas de video te dan un clip y tienes que empezar de nuevo. Esto se siente más como dirigir algo que ya está en movimiento.

La arquitectura del modelo de @PixVerse_ tiene tres piezas críticas: 1. Un modelo de base multimodal nativo que unifica texto, imagen, video y audio en un único flujo de tokens. 2. Un mecanismo de memoria autorregresiva que mantiene la consistencia a lo largo de secuencias indefinidamente largas. 3. Un "Motor de Respuesta Instantánea" que reduce los pasos de muestreo de decenas a 1-4. Esa última parte es clave: es lo que hace que este modelo funcione en tiempo real.

Hacer que el modelo genere exactamente lo que tienes en mente sigue siendo difícil. Se necesitan múltiples intentos para realizar una historia específica. Este es un problema con la generación de video en general. Aún estamos lejos de que esto reemplace a Hollywood.

Existen varias limitaciones con la generación de video en tiempo real: 1. Los pequeños errores de predicción se acumulan a lo largo de secuencias extendidas 2. Los costos computacionales son altos (y siguen siendo un cuello de botella) Estamos en una etapa temprana, ¡pero la trayectoria aquí se ve bastante bien!

El futuro es realmente brillante: • Un juego que genera los entornos mientras juegas. 100% en tiempo real. • Una película donde el espectador influye en los resultados narrativos. • Simulaciones para investigación, planificación industrial e incluso modelado ecológico que evolucionan en función de las decisiones. Ese es el objetivo aquí: Tener "mundos persistentes e interactivos en lugar de artefactos mediáticos finitos."