老司机午夜精品_国产精品高清免费在线_99热点高清无码中文字幕_在线观看国产成人AV天堂_中文字幕国产91

我國首個Sora級視頻大模型發(fā)布

發(fā)布:cyqdesign 2024-04-28 11:17 閱讀:237

只需要一段文字指令就能生成一段60秒精致細膩的視頻——今年2月起,文生視頻大模型Sora曾在全球人工智能業(yè)內(nèi)外引發(fā)震動。4月27日上午,在2024中關(guān)村論壇年會未來人工智能先鋒論壇上,生數(shù)科技聯(lián)合清華大學發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型——Vidu。Vidu不僅能夠模擬真實物理世界,還擁有豐富想象力,具備多鏡頭生成、時空一致性高等特點,這也是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型,性能全面對標國際頂尖水平,并在加速迭代提升中。

據(jù)了解,該模型采用團隊原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT,支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內(nèi)容。

根據(jù)現(xiàn)場演示的效果,Vidu能夠模擬真實的物理世界,能夠生成細節(jié)復雜、并且符合真實物理規(guī)律的場景,例如合理的光影效果、細膩的人物表情等。它還具有豐富的想象力,能夠生成真實世界不存在的虛構(gòu)畫面,創(chuàng)造出具有深度和復雜性的超現(xiàn)實主義內(nèi)容,例如“畫室里的一艘船正在海浪中駛向鏡頭”這樣的場景。

此外,Vidu能夠生成復雜的動態(tài)鏡頭,不再局限于簡單的推、拉、移等固定鏡頭,而是能夠圍繞統(tǒng)一主體在一段畫面里就實現(xiàn)遠景、近景、中景、特寫等不同 鏡頭的切換,包括能直接生成長鏡頭、追焦、轉(zhuǎn)場等效果,給視頻注入鏡頭語言。

作為中國自研視頻大模型,Vidu還能理解中國元素,能夠在視頻中生成例如熊貓、龍等特有的中國元素。

值得一提的是,短片中的片段都是從頭到尾連續(xù)生成,沒有明顯的插幀現(xiàn)象,從這種“一鏡到底”的表現(xiàn)能夠推測出,Vidu采用的是“一步到位”的生成方式,與 Sora一樣,從文本到視頻的轉(zhuǎn)換是直接且連續(xù)的,在底層算法實現(xiàn)上是基于單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。

據(jù)了解,Vidu的快速突破源自于團隊在貝葉斯機器學習和多模態(tài)大模型的長期積累和多項原創(chuàng)性成果。其核心技術(shù) U-ViT 架構(gòu)由團隊于2022年9月提出,早于Sora采用的DiT架構(gòu),是全球首個Diffusion與Transformer融合的架構(gòu),完全由團隊自主研發(fā)。

“在Sora發(fā)布后,我們發(fā)現(xiàn)剛好和我們的技術(shù)路線是高度一致的,這也讓我們堅定地進一步推進了自己的研究!鼻迦A大學人工智能研究院副院長、生數(shù)科技首席科學家朱軍說。自今年2月Sora發(fā)布推出后,團隊基于對U-ViT 架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗,在短短兩個月進一步突破長視頻表示與處理關(guān)鍵技術(shù),研發(fā)推出Vidu視頻大模型,顯著提升視頻的連貫性與動態(tài)性。

關(guān)鍵詞: Sora模型
分享到:

最新評論

我要發(fā)表 我要評論
限 50000 字節(jié)
關(guān)于我們
網(wǎng)站介紹
免責聲明
加入我們
贊助我們
服務(wù)項目
稿件投遞
廣告投放
人才招聘
團購天下
幫助中心
新手入門
發(fā)帖回帖
充值VIP
其它功能
站內(nèi)工具
清除Cookies
無圖版
手機瀏覽
網(wǎng)站統(tǒng)計
交流方式
聯(lián)系郵箱:商務(wù)合作 站務(wù)處理
微信公眾號:opticsky 微信號:cyqdesign
新浪微博:光行天下OPTICSKY
QQ號:9652202
主辦方:成都光行天下科技有限公司
Copyright © 2005-2024 光行天下 蜀ICP備06003254號-1