Čínske nástroje umelej inteligencie priťahujú čoraz väčšiu pozornosť, a to celkom zaslúžene. Tentoraz prišla s novým riešením na generovanie videa Alibaba, ktorej vďačíme okrem iného aj za modely Qwen. Ich najnovšia verzia debutovala začiatkom augusta.
Wan3.0 je multimodálny model na generovanie a úpravu videa, ktorý dokáže z veľkého množstva vstupných dát (videa, obrázkov, zvuku a textu) vytvárať dynamický videoobsah s dĺžkou až 30 sekúnd. Vývojári ho navrhli s dôrazom na čo najlepšie využitie pri každodennej práci. V rámci multimodálneho spracovania preto dokáže pracovať aj s dokumentmi PDF, prezentáciami PowerPoint či ďalšími dokumentmi a možno mu poskytnúť aj odkazy na webové stránky.
Wan3.0 je zatiaľ dostupný v beta verzii, čo je však v ostrej konkurencii úplne bežné. Alibaba vyzdvihuje predovšetkým dĺžku videí, ktoré model dokáže vytvoriť naraz. Predchádzajúci model Wan2.7-Video mal limit 15 sekúnd. Používatelia už môžu vytvárať detailne naplánované scény so zložitými pohybmi kamery, čo môže výrazne zrýchliť prácu. Krátke reklamy dokáže Wan3.0 vytvoriť aj celé na jeden raz.
Vývojári pridali aj inteligentné určovanie dĺžky videa. Systém na základe zadania a vstupných informácií dokáže odhadnúť, ako dlho má scéna trvať. Nebude teda „halucinovať“ ďalší obsah len preto, aby za každú cenu dosiahol požadovanú dĺžku. Zároveň je k dispozícii aj funkcia predĺženia, ktorá umožňuje vytvárať dostatočne dlhé videá so zmysluplným obsahom.
Tak ako v každom obsahu generovanom umelou inteligenciou, aj vo videách sa často objavujú vizuálne nepresnosti a deformácie. Wan3.0 im má predchádzať zachovaním vysokej vizuálnej konzistentnosti. Model dokáže vytvárať aj napodobňovať mimoriadne realistické ľudské tváre so synchronizovanou mimikou. Vie generovať prirodzene znejúci hlas vo viacerých jazykoch a vo videách dokáže konzistentne zobrazovať aj používateľské rozhrania softvéru či animovanú grafiku.
Model dokáže reprodukovať referenčné materiály aj s jemnými detailmi, pričom dôsledne zachováva kľúčové prvky, priestorové vzťahy aj zvukovú konzistentnosť. Vďaka tomu sa výborne hodí na tvorbu reklamných a propagačných materiálov k produktom.
Podľa Alibaby získajú s Wan3.0 aj filmári a tvorcovia obsahu výkonný nástroj, ktorý im môže skrátiť prácu a umožniť vytvárať pútavejšie materiály. Model by mohol nájsť uplatnenie aj vo vzdelávaní, keďže sa pomocou neho dajú vytvárať názorné vizuálne pomôcky pre deti. Alibaba navyše predpokladá, že technológia už môže byť vhodná aj na tvorbu realistických videí a simulácií využiteľných napríklad pri trénovaní systémov autonómnych vozidiel. Automobilky a dodávatelia by tak mohli týmto systémom jednoducho predvádzať napríklad dopravné nehody.
Prístup k Wan3.0 cez API má byť sprístupnený čoskoro, zatiaľ si však naň treba ešte počkať. Nový model na generovanie a úpravu videa pomocou umelej inteligencie bude pri rozlíšení 480p možné používať už za 0,05 dolára za sekundu. S každým vyšším stupňom rozlíšenia sa sadzba zdvojnásobí. Videá v rozlíšení 720p HD tak možno vytvárať za 0,1 dolára za sekundu a tvorba obsahu vo Full HD vyjde na 0,2 dolára za sekundu.
