NVIDIA ieviesa neironu tīklu video ģenerēšanai pēc apraksta

Uzņēmums NVIDIA paziņoja jauns VideoLDM AI modelis, kas veido īsus video, pamatojoties uz tekstu. Tas tika izstrādāts sadarbībā ar Kornela universitātes pētniekiem.

VideoLDM ņem vērā līdz 4,1 miljardam parametru, no kuriem 2,7 miljardi tiek apmācīti video. Ģenerētie klipi var būt līdz 2048 × 1280 pikseļiem 24 kadros, un to ilgums var būt līdz 4,7 sekundēm.

Neironu tīkls spēj izveidot gan vienkāršas ainas ar pāris vārdiem pieprasījumā, gan kaut ko sarežģītāku. Daži piemēri:

• Uguņošana.

• Stormtrooper sūc pludmali.

• Ceļotājs saulrietā pastaigājas viens miglainā mežā.

Ir pieejami vairāk piemēru projekta vietne.

Šis NVIDIA neironu tīkls vēl nav publiski pieejams. Tas tika prezentēts kā pētniecisks darbs konferences par mašīnredzību un modeļu atpazīšanu ietvaros.

Izstrādātāji atzīmēja iespaidīgu un strauju progresu mācībās, taču nerunāja par iespējamo neironu tīkla nākotni. Tomēr mēs varam pieņemt, ka drīz mēs iegūsim pilnvērtīgu video analogu pusceļš.