基于結(jié)構(gòu)化潛碼引導(dǎo)NeRF的語(yǔ)音驅(qū)動(dòng)人臉重演

摘要： 語(yǔ)音驅(qū)動(dòng)的人臉重演的目標(biāo)是生成與輸入語(yǔ)音內(nèi)容相匹配的高保真人臉面部動(dòng)畫(huà).然而,由于音頻與視頻模態(tài)之間存在鴻溝,當(dāng)前方法難以實(shí)現(xiàn)高質(zhì)量的面部重演.針對(duì)現(xiàn)有方法保真度低、唇音同步效果差等問(wèn)題,提出一種基于結(jié)構(gòu)化潛碼引導(dǎo)隱式神經(jīng)表示的語(yǔ)音驅(qū)動(dòng)人臉重演方法,以人臉點(diǎn)云序列作為中間表示,將語(yǔ)音驅(qū)動(dòng)人臉重演分解為跨模態(tài)映射和神經(jīng)輻射場(chǎng)渲染兩大任務(wù)分別解決.首先,通過(guò)跨模態(tài)映射從音頻預(yù)測(cè)人臉... （共9頁(yè)）