欧美亚洲综合图区在线|天天射天天干国产成卜|99久久免费国产精精品|国产的欧美一区二区三区|日韩中文字幕无码不卡专区|亚麻成人aV极品一区二区|国产成人AV区一区二区三|成人免费一区二区三区视频网站

當(dāng)前位置:首頁(yè) > 網(wǎng)站建設(shè) > 正文內(nèi)容

虛擬數(shù)字人制作平臺(tái)(虛擬數(shù)字人制作平臺(tái)有哪些)

網(wǎng)站建設(shè)1年前 (2023-10-06)575

新智元報(bào)道

編輯:LRS

【新智元導(dǎo)讀】AIGC進(jìn)入3D時(shí)代,用文字就能生成超逼真數(shù)字人!

隨著大型語言模型(LLM)、擴(kuò)散(Diffusion)等技術(shù)的發(fā)展,ChatGPT、Midjourney等產(chǎn)品的誕生掀起了新一波的AI熱潮,生成式AI也成為備受關(guān)注的話題。

與文本和圖像不同,3D生成仍處于技術(shù)探索階段。

2022年年底,Google、NVIDIA和微軟相繼推出了自己的3D生成工作,但大多基于先進(jìn)的神經(jīng)輻射場(chǎng)(NeRF)隱式表達(dá),與工業(yè)界3D軟件如Unity、Unreal Engine和Maya等的渲染管線不兼容。

即使通過傳統(tǒng)方案將其轉(zhuǎn)換為Mesh表達(dá)的幾何和顏色貼圖,也會(huì)造成精度不足和視覺質(zhì)量下降,不能直接應(yīng)用于影視制作和游戲生產(chǎn)。

展開全文

項(xiàng)目網(wǎng)站:https://sites.google.com/view/dreamface

論文地址:https://arxiv.org/abs/2304.03117

Web Demo:https://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

為了解決這些問題,來自影眸科技與上海科技大學(xué)的研發(fā)團(tuán)隊(duì)提出了一種文本指導(dǎo)的漸進(jìn)式3D生成框架。

該框架引入符合CG制作標(biāo)準(zhǔn)的外部數(shù)據(jù)集(包含幾何和PBR材質(zhì)),可以根據(jù)文本直接生成符合該標(biāo)準(zhǔn)的3D資產(chǎn),是首個(gè)支持Production-Ready 3D資產(chǎn)生成的框架。

為了實(shí)現(xiàn)文本生成可驅(qū)動(dòng)的3D超寫實(shí)數(shù)字人,該團(tuán)隊(duì)將這個(gè)框架與產(chǎn)品級(jí)3D數(shù)字人數(shù)據(jù)集相結(jié)合。這項(xiàng)工作已經(jīng)被計(jì)算機(jī)圖形領(lǐng)域國(guó)際頂級(jí)期刊Transactions on Graphics接收,并將在國(guó)際計(jì)算機(jī)圖形頂級(jí)會(huì)議SIGGRAPH 2023上展示。

已關(guān)注

關(guān)注

重播分享贊

關(guān)閉

觀看更多

更多

正在加載

正在加載

退出全屏

視頻加載失敗,請(qǐng)刷新頁(yè)面再試

刷新

視頻詳情

DreamFace主要包括三個(gè)模塊,幾何體生成,基于物理的材質(zhì)擴(kuò)散和動(dòng)畫能力生成。

相比先前的3D生成工作,這項(xiàng)工作的主要貢獻(xiàn)包括:

· 提出了DreamFace這一新穎的生成方案,將最近的視覺-語言模型與可動(dòng)畫和物理材質(zhì)的面部資產(chǎn)相結(jié)合,通過漸進(jìn)式學(xué)習(xí)來分離幾何、外觀和動(dòng)畫能力。

· 引入了雙通道外觀生成的設(shè)計(jì),將一種新穎的材質(zhì)擴(kuò)散模型與預(yù)訓(xùn)練模型相結(jié)合,同時(shí)在潛在空間和圖像空間進(jìn)行兩階段優(yōu)化。

· 使用BlendShapes或生成的Personalized BlendShapes的面部資產(chǎn)具備動(dòng)畫能力,并進(jìn)一步展示了DreamFace在自然人物設(shè)計(jì)方面的應(yīng)用。

幾何生成

幾何體生成模塊可以根據(jù)文本提示生成與之一致的幾何模型。然而,在人臉生成方面,這可能難以監(jiān)督和收斂。

因此,DreamFace提出了一個(gè)基于CLIP(Contrastive Language-Image Pre-Training)的選擇框架,首先從對(duì)人臉幾何參數(shù)空間內(nèi)隨機(jī)采樣的候選項(xiàng)中選擇最佳的粗略幾何模型,然后雕刻幾何細(xì)節(jié),使頭部模型更符合文本提示。

根據(jù)輸入提示,DreamFace利用CLIP模型選擇匹配得分最高的粗略幾何候選項(xiàng)。接下來,DreamFace使用隱式擴(kuò)散模型(LDM)在隨機(jī)視角和光照條件下對(duì)渲染圖像進(jìn)行得分蒸餾采樣(SDS)處理。

這使得DreamFace可以通過頂點(diǎn)位移和詳細(xì)的法線貼圖向粗略幾何模型添加面部細(xì)節(jié),從而得到高度精細(xì)的幾何體。

與頭部模型類似,DreamFace還基于該框架進(jìn)行發(fā)型和顏色的選擇。

基于物理的材質(zhì)擴(kuò)散生成

基于物理的材質(zhì)擴(kuò)散模塊旨在預(yù)測(cè)與預(yù)測(cè)幾何體和文本提示一致的面部紋理。

首先,DreamFace將預(yù)先訓(xùn)練的LDM在收集的大規(guī)模UV材質(zhì)數(shù)據(jù)集上微調(diào),得到兩個(gè)LDM擴(kuò)散模型。

DreamFace采用了一種聯(lián)合訓(xùn)練方案,協(xié)調(diào)兩個(gè)擴(kuò)散過程,一個(gè)用于直接去噪U(xiǎn)V紋理貼圖,另一個(gè)用于監(jiān)督渲染圖像,以確保面部UV貼圖和渲染圖像的正確形成與文本提示一致。

為了減少生成時(shí)間,DreamFace采用了一個(gè)粗糙紋理潛在擴(kuò)散階段,為細(xì)節(jié)紋理生成提供先驗(yàn)潛在。

為了確保所創(chuàng)建的紋理地圖不含有不良特征或照明情況,同時(shí)仍保持多樣性,設(shè)計(jì)了一種提示學(xué)習(xí)策略。

團(tuán)隊(duì)利用兩種方法生成高質(zhì)量的漫反射貼圖:

(1)Prompt Tuning。與手工制作的特定領(lǐng)域文本提示不同,DreamFace將兩個(gè)特定領(lǐng)域的連續(xù)文本提示 Cd 和 Cu 與相應(yīng)的文本提示結(jié)合起來,這將在U-Net去噪器訓(xùn)練期間進(jìn)行優(yōu)化,以避免不穩(wěn)定和耗時(shí)的手工撰寫提示。

(2)非面部區(qū)域遮罩。LDM去噪過程將額外地受到非面部區(qū)域遮罩的限制,以確保生成的漫反射貼圖不含有任何不需要的元素。

作為最后一步,DreamFace應(yīng)用超分辨率模塊生成4K基于物理的紋理,以進(jìn)行高質(zhì)量渲染。

DreamFace框架在名人生成,根據(jù)描述生成角色上都取得了相當(dāng)不錯(cuò)的效果,在User Study中獲得了遠(yuǎn)超先前工作的成績(jī)。相比先前的工作,在運(yùn)行時(shí)間上也具備明顯的優(yōu)勢(shì)。

除此之外,DreamFace還支持使用提示和草圖進(jìn)行紋理編輯。通過直接使用微調(diào)的紋理LDM和提示,可以實(shí)現(xiàn)全局的編輯效果,如老化和化妝。通過進(jìn)一步結(jié)合掩?;虿輬D,可以創(chuàng)建各種效果,如紋身、胡須和胎記。

動(dòng)畫能力生成

DreamFace生成的模型具備動(dòng)畫能力。與基于BlendShapes的方法不同,DreamFace的神經(jīng)面部動(dòng)畫方法通過預(yù)測(cè)獨(dú)特的變形來為生成的靜息(Neutral)模型賦予動(dòng)畫效果,從而產(chǎn)生個(gè)性化的動(dòng)畫。

首先,訓(xùn)練一個(gè)幾何生成器,學(xué)習(xí)表情的潛在空間,其中解碼器被擴(kuò)展為以中性幾何形狀為條件。接著,進(jìn)一步訓(xùn)練表情編碼器,從RGB圖像中提取表情特征。因此,DreamFace能夠通過使用單目RGB圖像以中性幾何形狀為條件來生成個(gè)性化的動(dòng)畫。

與使用通用BlendShapes進(jìn)行表情控制的DECA相比,DreamFace的框架提供了細(xì)致的表情細(xì)節(jié),并且能夠精細(xì)地捕捉表演。

結(jié)論

本文介紹了DreamFace,一種文本指導(dǎo)的漸進(jìn)式3D生成框架,它結(jié)合了最新的視覺-語言模型、隱式擴(kuò)散模型,以及基于物理的材質(zhì)擴(kuò)散技術(shù)。

虛擬數(shù)字人制作平臺(tái)(虛擬數(shù)字人制作平臺(tái)有哪些)

DreamFace的主要?jiǎng)?chuàng)新包括幾何體生成、基于物理的材質(zhì)擴(kuò)散生成和動(dòng)畫能力生成。與傳統(tǒng)的3D生成方法相比,DreamFace具有更高的準(zhǔn)確性、更快的運(yùn)行速度和較好的CG管線兼容性。

DreamFace的漸進(jìn)式生成框架為解決復(fù)雜的3D生成任務(wù)提供了一種有效的解決方案,有望推動(dòng)更多類似的研究和技術(shù)發(fā)展。

此外,基于物理的材質(zhì)擴(kuò)散生成和動(dòng)畫能力生成將推動(dòng)3D生成技術(shù)在影視制作、游戲開發(fā)和其他相關(guān)行業(yè)的應(yīng)用。

參考資料:

https://sites.google.com/view/dreamface

掃描二維碼推送至手機(jī)訪問。

版權(quán)聲明:本文由飛速云SEO網(wǎng)絡(luò)優(yōu)化推廣發(fā)布,如需轉(zhuǎn)載請(qǐng)注明出處。

本文鏈接:http://www.landcheck.net/post/58443.html

“虛擬數(shù)字人制作平臺(tái)(虛擬數(shù)字人制作平臺(tái)有哪些)” 的相關(guān)文章

天蝎網(wǎng)站推廣優(yōu)化(分析網(wǎng)站推廣和優(yōu)化的原因)

天蝎網(wǎng)站推廣優(yōu)化(分析網(wǎng)站推廣和優(yōu)化的原因)

本篇文章給大家談?wù)勌煨W(wǎng)站推廣優(yōu)化,以及分析網(wǎng)站推廣和優(yōu)化的原因?qū)?yīng)的知識(shí)點(diǎn),希望對(duì)各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、鴻運(yùn)當(dāng)頭,銳不可當(dāng),事業(yè)向前一大步,攀登高峰的星座有哪些? 2、善于發(fā)揮自身魅力,為什么叫特別聰明有智慧的天蝎女呢? 3、讓人很難拒絕,大方熱情,也有頭...

鹽城網(wǎng)站優(yōu)化(鹽城網(wǎng)站優(yōu)化軟件)

鹽城網(wǎng)站優(yōu)化(鹽城網(wǎng)站優(yōu)化軟件)

本篇文章給大家談?wù)匊}城網(wǎng)站優(yōu)化,以及鹽城網(wǎng)站優(yōu)化軟件對(duì)應(yīng)的知識(shí)點(diǎn),希望對(duì)各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、鹽城哪家網(wǎng)絡(luò)公司做優(yōu)化比較好? 2、鹽城有人學(xué)習(xí)seo網(wǎng)站優(yōu)化的嗎? 3、鹽城網(wǎng)站建設(shè)找哪家比較好? 我不僅要技術(shù)好 更重要的是后期服務(wù)?。?4、網(wǎng)絡(luò)營(yíng)銷和SE...

制作圖片網(wǎng)站(圖片做成網(wǎng)站)

制作圖片網(wǎng)站(圖片做成網(wǎng)站)

本篇文章給大家談?wù)勚谱鲌D片網(wǎng)站,以及圖片做成網(wǎng)站對(duì)應(yīng)的知識(shí)點(diǎn),希望對(duì)各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、說幾個(gè)圖片制作網(wǎng)站~~ 2、怎么制作一個(gè)照片展示網(wǎng)站? 3、誰推薦幾個(gè)圖片的制作網(wǎng)站? 說幾個(gè)圖片制作網(wǎng)站~~ 改圖網(wǎng) 我拉網(wǎng) 圖集集 網(wǎng)民工具 涂改...

在網(wǎng)頁(yè)HTML源代碼中,()標(biāo)簽是必不可少的的簡(jiǎn)單介紹

在網(wǎng)頁(yè)HTML源代碼中,()標(biāo)簽是必不可少的的簡(jiǎn)單介紹

今天給各位分享在網(wǎng)頁(yè)HTML源代碼中,()標(biāo)簽是必不可少的的知識(shí),其中也會(huì)對(duì)進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、如何在網(wǎng)頁(yè)上顯示html代碼 2、HTML標(biāo)簽在代碼中是什么意思 3、在HTML中,標(biāo)記的作用是__________ 4、...

簡(jiǎn)歷制作模板百度網(wǎng)盤(簡(jiǎn)歷電子版模板百度網(wǎng)盤)

簡(jiǎn)歷制作模板百度網(wǎng)盤(簡(jiǎn)歷電子版模板百度網(wǎng)盤)

今天給各位分享簡(jiǎn)歷制作模板百度網(wǎng)盤的知識(shí),其中也會(huì)對(duì)簡(jiǎn)歷電子版模板百度網(wǎng)盤進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、如何制作個(gè)人簡(jiǎn)歷模板 2、各路大神:求個(gè)人簡(jiǎn)歷ppt模板,各種演講PPT模板網(wǎng)盤。 3、個(gè)人簡(jiǎn)歷模板如何制作 4、個(gè)人簡(jiǎn)歷模...

首涂模板西瓜影視(在線觀看首涂模板官方下載)

首涂模板西瓜影視(在線觀看首涂模板官方下載)

今天給各位分享首涂模板西瓜影視的知識(shí),其中也會(huì)對(duì)在線觀看首涂模板官方下載進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、頭條西瓜視頻二次剪輯怎么過原創(chuàng)??? 2、不想上班,辭職以后可以做些什么? 3、西瓜視頻用模版發(fā)視頻屬于原創(chuàng)嗎? 頭條西瓜視頻二次...