Deepfake 真是讓人又愛又恨。

眾所周知，基于深度學(xué)習(xí)模型的 Deepfake 軟件，可以制造虛假的人臉視頻或圖像。它在影視、娛樂等行業(yè)有著廣泛的應(yīng)用場景。

但自 2017 年起，Deepfake 也開始被不良分子用來制造色情視頻——神奇女俠下海事件。據(jù)統(tǒng)計，社交網(wǎng)絡(luò)中的 Deepfake 視頻，96% 涉及色情內(nèi)容，觀看用戶數(shù)量已超過了 1.3 億。

此外，Deepfake 也開始涉足政治領(lǐng)域，被用來偽造虛假政客言論，相關(guān)數(shù)據(jù)也在逐年增長。

奧巴馬發(fā)表著與自己不相關(guān)的言論

更重要的是，隨著 Deepfake 技術(shù)的不斷升級，這些偽造視頻越來越難以分辨真假，對社會穩(wěn)定構(gòu)成了極大的威脅。

而近日，一篇刊登在 IEEE PAMI（模式分析與機(jī)器智能匯刊）的一篇論文聲稱，有新的方法能夠識別 Deepfake 視頻，準(zhǔn)確率高達(dá) 97.29%，而且還能夠發(fā)現(xiàn)制造 Deepfake 背后的生成模型。

更有意思的是，不同于常規(guī)檢測法，該論文強(qiáng)調(diào)其利用的是生物信號——心跳。

Deepfake“心跳”檢測法

這篇論文來自賓厄姆頓大學(xué)（Binghamton University）與英特爾（Intel）公司聯(lián)合組成的研究團(tuán)隊。該團(tuán)隊稱，這款 AI 工具名為 FakeCatcher，它可以通過檢測心跳在面部產(chǎn)生的細(xì)微差別來區(qū)分視頻真假。

我們知道，血管遍布人體全身，包括面部。當(dāng)心臟跳動時會帶動全身的血液流動，流動的血液會在人臉表面產(chǎn)生細(xì)微的變化，而這種變化正是研究人員區(qū)分真假視頻的關(guān)鍵。

研究人員把區(qū)分這種變化的方法稱為光體積變化描計法（Photoplethysmography，簡稱 PPG）。簡單來說，就是利用光率的脈動變化，折算成電信號，從而對應(yīng)成心率。

這一原理與醫(yī)學(xué)脈搏血氧儀，蘋果手表以及可穿戴健身跟蹤設(shè)備檢測運(yùn)動狀態(tài)時的心跳信號類似。

該項研究的前提假設(shè)是：生物信號是區(qū)分真假人臉的重要標(biāo)識。也就是說，假視頻中顯示的 “人”不會表現(xiàn)出與真實視頻中的人相似的心跳模式。

基于此，研究人員經(jīng)過實驗發(fā)現(xiàn)，Deepfake 人臉無法正常還原因血液流動造成的微弱變化。

英特爾公司的資深研究科學(xué)家伊爾克 · 德米爾（Ilke Demir）介紹稱，

我們從臉部的不同部位提取幾個 PPG 信號，并觀察了這些信號在空間維度和時間維度上的一致性。

在這里空間維度指的是面部區(qū)域，時間維度指的是心跳頻率。Demir 的意思是，通過讀取 PPG 信號和增強(qiáng)技術(shù)，還原并放大其在面部所產(chǎn)生的微弱變化，以此判斷視頻的真假。

如果是 Deepfake 視頻，所產(chǎn)生的面部效果會非常不自然。如下圖：

具體來說，F(xiàn)akeCatcher 完整的檢測過程如下：1）識別關(guān)鍵的人臉區(qū)域；2）提取生物信號（PPG）；3）利用信號轉(zhuǎn)換計算空間維度和時間維度的相關(guān)性，并在特征集和 PPG 映射中捕獲信號特征并訓(xùn)練概率；4）根據(jù)真實性概率對視頻真假進(jìn)行分類。

研究人員介紹稱，在這一過程中主要取得三個方面的進(jìn)步：

通過信號轉(zhuǎn)換公式和實驗，驗證了利用生物信號的空間一致性和時間一致性檢驗視頻真假的可行性。

提出了一種新型通用的 Deepfake 檢測器。

提出了一種新的生物信號構(gòu)造圖，可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行真實性分類。

構(gòu)建了一個多樣化的人像視頻數(shù)據(jù)集，為虛假內(nèi)容檢測提供了一個試驗臺。

模型精度測試結(jié)果在實驗之前，為了更加精準(zhǔn)地評估 FakeCatcher 模型，研究人員自建一個 Deepfake 數(shù)據(jù)集，該數(shù)據(jù)集來自媒體網(wǎng)絡(luò)、新聞文章和研究報告等，因此，視頻在生成模型、分辨率、壓縮、照明、縱橫比、幀速率、運(yùn)動、姿勢、遮擋、內(nèi)容等方面的問題都是真實存在的。

該數(shù)據(jù)集包含了 142 個視頻，有 30 GB 大小。從下圖分類結(jié)果來看，F(xiàn)akeCatcher 對低分辨率、壓縮、運(yùn)動、照明、遮擋等問題的表現(xiàn)都是魯棒性的。

上半部分為真實視頻，下半部分為 Deepfake 視頻

接下來，研究人員主要進(jìn)行了兩項實驗驗證。一是與當(dāng)前的深度學(xué)習(xí)解決方案和其他 Deepfake 檢測器進(jìn)行比較。實驗結(jié)果如下：

其中，F(xiàn)rame 和 Face 表示分段精度，可以看出 FakeCatcher 最高，達(dá)到了 87.62%；Video 表示視頻精確度。FakeCatcher 比最好的架構(gòu)還要高出 8.85%。

需要說明的是，表中所有實驗都是在自建數(shù)據(jù)集 DF（60% 訓(xùn)練和 40% 的測試的分割）中進(jìn)行的。

二是進(jìn)行交叉數(shù)據(jù)集驗證，分別包括 DF、Celeb DF、FF、FF++ 和 UADFV 數(shù)據(jù)集。

第一列為訓(xùn)練數(shù)據(jù)集，第二列為測試數(shù)據(jù)集

從第 5 行和第 6 行來看，F(xiàn)akeCatcher 在小而多樣的數(shù)據(jù)集中的學(xué)習(xí)效果要比在大型且單一的數(shù)據(jù)集上更好。一方面是，DF 訓(xùn)練和 FF 測試比反過來的測試精度高出了 18.73%。另一方面是，DF 數(shù)據(jù)集大約只有 FF 數(shù)據(jù)集的 5%。從第 3 行和第 6 行來看，可以發(fā)現(xiàn)從 FF 到 FF++ 增加分集，DF 的準(zhǔn)確率提高了 16.9%。

在交叉數(shù)據(jù)集 FF++ 中，每個原始視頻包含四個合成視頻，其中每個視頻都使用不同的生成模型生成。研究人員將 FF++ 的原始視頻分割為 60% 訓(xùn)練，40% 測試。然后創(chuàng)建這些集合的四個副本，并從每個集合中刪除特定模型生成的所有樣本。

表中第 1 列，每個集合包含三個模型的 600 個真實視頻和 1800 個假視頻，以及一個模型的 400 個真實視頻和 400 個假視頻進(jìn)行測試。

從跨模型評估結(jié)果來看，除了 NeuralTextures，其他均得到了非常精確的預(yù)測。而 NeuralTextures 本質(zhì)上就是不同的生成模型。

由此，論文最后得出結(jié)論稱，基于生物信號的 Deepfake 視頻檢測器 FakeCatcher，證明了生物信號的空間維度和時間維度的一致性在 GAN-Rated 內(nèi)容中并沒有得到很好的保持。

此外，通過人臉取證實驗并引入自建 DF 數(shù)據(jù)集中，對視頻片段、視頻的成對分離以及真實性分類方法進(jìn)行評估，分別得到了 99.39%，96% 以及 91.07% 準(zhǔn)確率。這些結(jié)果再次驗證了 FakeCatcher 可以高精度地檢測假內(nèi)容，而不依賴視頻的生成器、內(nèi)容、分辨率以及質(zhì)量等指標(biāo)。
責(zé)任編輯：PSY