字節(jié)跳動發(fā)布OmniHuman 多模態(tài)框架
2 月 6 日消息，字節(jié)跳動近日發(fā)布了一項重大成果 ——OmniHuman 多模態(tài)框架，其優(yōu)勢在于其強大的視頻生成能力。用戶只需提供一張任意尺寸和人物占比的單張圖片，再結(jié)合一段輸入音頻，就能生成栩栩如生的人物視頻。
與傳統(tǒng) AI 模型不同，OmniHuman-1 能夠生成逼真的全身動畫，并且可以精準(zhǔn)地將手勢和面部表情與語音或音樂同步，打破了以往只能生成面部或上半身動畫的局限。
基于約 19000 小時的人類運動數(shù)據(jù)訓(xùn)練，OmniHuman-1 模型支持不同的體型和畫面比例，能在內(nèi)存限制內(nèi)生成任意長度的視頻，并適應(yīng)不同輸入信號，在真實性和準(zhǔn)確性方面超越其他同類動畫工具。值得一提的是，它還支持卡通角色、人工物體、動物以及復(fù)雜姿勢的輸入，確保生成的動作特征與每種風(fēng)格的獨特特點相匹配。
在實際應(yīng)用場景中，OmniHuman 潛力巨大。在影視制作領(lǐng)域，創(chuàng)作者能輕松為虛擬角色打造全身動作戲份；虛擬直播里，主播動作更加自然，可增強直播的趣味性與吸引力；游戲世界中，數(shù)字人 NPC 的動作和表情更豐富，能提升玩家的沉浸感。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
AI
+關(guān)注
關(guān)注
91文章
40959瀏覽量
302530 -
人工智能
+關(guān)注
關(guān)注
1819文章
50291瀏覽量
266843 -
字節(jié)跳動
+關(guān)注
關(guān)注
0文章
352瀏覽量
10124
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
ADPD4000/ADPD4001：多模態(tài)傳感器前端的卓越之選
ADPD4000/ADPD4001：多模態(tài)傳感器前端的卓越之選 在當(dāng)今電子設(shè)備日益智能化、多功能化的時代，多模態(tài)傳感器前端的需求愈發(fā)迫切。ADPD4000/ADPD4001作為一款性能
海光DCU完成Qwen3.5多模態(tài)MoE模型全量適配
近日，海光DCU完成Qwen3.5-397B MoE旗艦多模態(tài)模型、Qwen3.5-35B-A3B MoE多模態(tài)模型全量適配、精度對齊與推理部署驗證。本次適配依托FlagOS專屬vLL
全球首個最大規(guī)模跨本體視觸覺多模態(tài)數(shù)據(jù)集白虎-VTouch發(fā)布
全球首個最大規(guī)?？绫倔w視觸覺多模態(tài)數(shù)據(jù)集——白虎-VTouch（Vision-Based Tactile Sensor），總規(guī)模超過60,000分鐘。
惠倫晶體助力字節(jié)豆包AI眼鏡新體驗
近日，行業(yè)備受矚目的“豆包”AI眼鏡發(fā)布新動態(tài)，這款由字節(jié)跳動與龍旗科技聯(lián)合研發(fā)的眼鏡，搭載自研空間算法芯片，整體重量不足50克，展示了AI眼鏡發(fā)展的新方向。
格靈深瞳多模態(tài)大模型榮登InfoQ 2025中國技術(shù)力量年度榜單
靈感實驗室聯(lián)合LLaVA社區(qū)發(fā)布的多模態(tài)大模型LLaVA-OneVision-1.5，實現(xiàn)了訓(xùn)練數(shù)據(jù)、代碼和模型權(quán)重的全鏈路開源，在多項公開多模態(tài)
涂鴉Omni AI Foundation V2.6發(fā)布：低代碼+多模態(tài)，重塑AI硬件創(chuàng)新體驗
硬件產(chǎn)品的落地。今天，我們非常高興地宣布：面向多模態(tài)AI硬件的基座平臺OmniAIFoundation正式發(fā)布V2.6版本。本次升級不僅顯著提升了端到端多
多模態(tài)大模型驅(qū)動的復(fù)雜環(huán)境精準(zhǔn)導(dǎo)航避障系統(tǒng)平臺的應(yīng)用
多模態(tài)大模型驅(qū)動的復(fù)雜環(huán)境精準(zhǔn)導(dǎo)航避障系統(tǒng)平臺的應(yīng)用
商湯科技正式發(fā)布并開源全新多模態(tài)模型架構(gòu)NEO
商湯科技正式發(fā)布并開源了與南洋理工大學(xué)S-Lab合作研發(fā)的全新多模態(tài)模型架構(gòu) —— NEO，為日日新SenseNova 多模態(tài)模型奠定了新一
亞馬遜云科技上線Amazon Nova多模態(tài)嵌入模型
Embeddings多模態(tài)嵌入模型現(xiàn)已在Amazon Bedrock上線，這是一款專為Agentic RAG與語義搜索應(yīng)用打造的頂尖多模態(tài)嵌入模型。該模型是首個通過單一模型支持文本、
淺析多模態(tài)標(biāo)注對大模型應(yīng)用落地的重要性與標(biāo)注實例
?在人工智能邁向AGI通用智能的關(guān)鍵道路上，大模型正從單一的文本理解者，演進(jìn)為能同時看、聽、讀、想的“多面手”。驅(qū)動這一進(jìn)化的核心燃料，正是高質(zhì)量的多模態(tài)數(shù)據(jù)，而將原始數(shù)據(jù)轉(zhuǎn)化為“機器可讀教材
商湯科技多模態(tài)通用智能戰(zhàn)略思考
時間是最好的試金石，AI領(lǐng)域尤其如此。當(dāng)行業(yè)熱議大模型走向時，商湯早已錨定“多模態(tài)通用智能”——這是我們以深厚研究積累和實踐反復(fù)驗證的可行路徑。
“端云＋多模態(tài)”新范式：《移遠(yuǎn)通信AI大模型技術(shù)方案白皮書》正式發(fā)布
7月28日，移遠(yuǎn)通信聯(lián)合智次方研究院正式發(fā)布《AI大模型技術(shù)方案白皮書》（以下簡稱“白皮書”）。這份白皮書系統(tǒng)梳理了AI大模型的技術(shù)特點、產(chǎn)業(yè)發(fā)展態(tài)勢與多元應(yīng)用場景，以及移遠(yuǎn)通信“端云+多模態(tài)”AI
潤和軟件發(fā)布StackRUNS異構(gòu)分布式推理框架
當(dāng)下，AI模型規(guī)模持續(xù)膨脹、多模態(tài)應(yīng)用場景日益復(fù)雜，企業(yè)正面臨異構(gòu)算力資源碎片化帶來的嚴(yán)峻挑戰(zhàn)。為應(yīng)對行業(yè)痛點，江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）正式發(fā)布自主研發(fā)的StackRUNS異構(gòu)分布式推理
愛芯通元NPU適配Qwen2.5-VL-3B視覺多模態(tài)大模型
熟悉愛芯通元NPU的網(wǎng)友很清楚，從去年開始我們在端側(cè)多模態(tài)大模型適配上一直處于主動緊跟的節(jié)奏。先后適配了國內(nèi)最早開源的多模態(tài)大模MiniCPM V 2.0，上海人工智能實驗室的書生
評論