Am avut acces anticipat la PixVerse-R1, un model în timp real. Este destul de promițător! R1 este o paradigmă fundamental diferită: În loc să genereze clipuri fixe, creează fluxuri vizuale infinite și continue care răspund instantaneu la inputul utilizatorului. (Coduri de invitație mai jos)

Platforma generează videoclipuri vizibil rapid! Poți începe cu un clip și să-i adaugi scene noi. Modelul menține consistența pe măsură ce avansezi. Majoritatea uneltelor video îți oferă un clip și o iei de la capăt. Se simte mai degrabă ca și cum ai conduce ceva deja în mișcare.

Arhitectura modelului lui @PixVerse_ are trei elemente critice: 1. Un model nativ de fundație multimodal care unifică textul, imaginea, videoclipul și sunetul într-un singur flux de token. 2. Un mecanism de memorie autoregresivă care menține consistența pe secvențe lungi la nesfârșit. 3. Un "Motor de Răspuns Instantaneu" care reduce pașii de eșantionare de la zeci la 1-4. Ultima parte este esențială: este ceea ce face ca acest model să funcționeze în timp real.

Să faci modelul să genereze exact ceea ce ai în minte este încă dificil. Este nevoie de mai multe încercări pentru a realiza o poveste anume. Aceasta este o problemă legată de generarea video în general. Suntem încă departe de a înlocui Hollywood-ul.

Există mai multe limitări în generarea video în timp real: 1. Erori mici de predicție se acumulează pe secvențe extinse 2. Costurile computaționale sunt ridicate (și încă reprezintă un blocaj) Suntem devreme, dar traiectoria aici arată destul de bună!

Viitorul este cu adevărat promițător: • Un joc care generează mediile pe măsură ce joci. 100% pe loc. • Un film în care spectatorul influențează rezultatele narative. • Simulări pentru cercetare, planificare industrială și chiar modelare ecologică care evoluează în funcție de decizii. Acesta este scopul aici: Să avem "lumi persistente, interactive, în loc de artefacte media finite."