DeepFake 已經(jīng)不再是只有少數(shù)科研人員掌握的技術(shù)了，它被越來(lái)越多懷有不良動(dòng)機(jī)的人，應(yīng)用到現(xiàn)實(shí)生活的方方面面中，引發(fā)不必要的誤解，比如說(shuō)炮制色情影片或者虛假新聞等。

最近，一篇刊登在 IEEE PAMI（模式分析與機(jī)器智能匯刊）上的論文稱，有新的方法能夠準(zhǔn)確識(shí)別 DeepFake 視頻，甚至能以很高的準(zhǔn)確率，識(shí)別出視頻采用的是哪種 DeepFake 算法。

這篇論文有意思之處，在于它的思路別出心裁：識(shí)別人臉面部因心跳血流產(chǎn)生的微弱變化。

血管遍布人體全身，包括臉上。比如在睡覺(jué)的時(shí)候，你可能會(huì)感覺(jué)到面部血液流動(dòng)產(chǎn)生的輕微“跳動(dòng)”感。

隨著心跳導(dǎo)致的血液流動(dòng)，人體皮膚也會(huì)出現(xiàn)區(qū)域性顏色變化。常見(jiàn)的脈搏血氧儀，其工作方式其實(shí)就是識(shí)別這種變化。（學(xué)名叫做光體積變化描記法 Photoplethysmography, 簡(jiǎn)稱 PPG。后面還會(huì)提到這個(gè)詞。）

因心跳產(chǎn)生的皮膚顏色變化，在人臉上同樣會(huì)出現(xiàn)，只是極其微弱，對(duì)肉眼不可見(jiàn)，在視頻里就更難看出來(lái)了。不過(guò)對(duì)視頻進(jìn)行特定處理，增強(qiáng)顏色變化的效果，肉眼就可以很明顯地觀察出來(lái)了：

你可能想問(wèn)：這種方法識(shí)別心跳準(zhǔn)確嗎？當(dāng)然準(zhǔn)了，Apple Watch 和一大堆血氧儀都采用的這種方法。它的準(zhǔn)確率和心電圖基本吻合，如下圖所示：

三位分別來(lái)自紐約州立大學(xué)賓漢頓分校和英特爾公司的研究人員，在這篇新論文里提出了一個(gè)重要的主張：無(wú)論是在空間維度還是時(shí)間維度上，DeepFake 的假人臉都無(wú)法還原這種因血液流動(dòng)造成的微弱變化。

空間維度就是面部區(qū)域，時(shí)間維度就是心跳頻率。DeepFake 的假人臉，不是體現(xiàn)不了這種微弱變化。在進(jìn)行大量測(cè)試后，研究人員發(fā)現(xiàn)：DeepFake 視頻里的人臉，讀取到的 PPG 信號(hào)是不穩(wěn)定的。

這句話的意思是：如果你對(duì) DeepFake 視頻進(jìn)行增強(qiáng)，會(huì)發(fā)現(xiàn)血流變化產(chǎn)生的顏色變化在人臉上顯示非常不自然，變化的頻率也完全不像真的心跳。

從下圖中你可以看的更清楚：四種 DeepFake 算法生成的視頻，產(chǎn)生的 PPG 信號(hào)都有很多“雜訊”，而真實(shí)視頻的“雜訊”很少。

基于這個(gè)主張，研究人員設(shè)計(jì)了一套基于卷積神經(jīng)網(wǎng)絡(luò)的模型，命名為FakeCatcher。

FakeCatcher從不同的 DeepFake 視頻中提取 1）關(guān)鍵的人臉區(qū)域 2）讀取 PPG 信號(hào)，將兩者組合成一個(gè)時(shí)空模塊（稱為一個(gè) PPG 元素）。再對(duì) PPG 元素進(jìn)行學(xué)習(xí)，最終就可以給出答案了。

在 Face Forensics++、CelebDF 等常用的假臉數(shù)據(jù)集上，F(xiàn)ake Catcher 的準(zhǔn)確率能夠超過(guò)90%。

更厲害的是，F(xiàn)akeCatcher 不光能認(rèn)出視頻的真假，還能準(zhǔn)確識(shí)別出假視頻用的是哪種 DeepFake 算法——這是因?yàn)槊糠N算法的殘差效果的雜訊都有足夠明顯的特種。研究人員透露，他們?cè)?DeepFakes、Face2Face、FaceSwap 和 NeuralTex 四種主流算法上的識(shí)別準(zhǔn)確率整體超過(guò)了93%。

研究人員認(rèn)為，這篇論文中提出的 PPG 信號(hào)識(shí)別思路，對(duì)于 DeepFake 的識(shí)別和偵測(cè)能夠開(kāi)啟一個(gè)全新的方向。

接下來(lái)，他們打算訓(xùn)練一個(gè)更復(fù)雜的模型，同時(shí)對(duì)真實(shí)視頻和 DeepFake 視頻的 PPG 信號(hào)進(jìn)行訓(xùn)練。

所謂魔高一尺道高一丈，趕在 DeepFake 算法被大肆濫用之前堵住他們的路，讓他們無(wú)路可走。