寫(xiě)在前面

在 GitHub 熱點(diǎn)趨勢(shì)Vol.046 中，HG 介紹過(guò)一個(gè)微軟開(kāi)源的 AI 工具——Bringing-Old-Photos-Back-to-Life

它可以讓破損、殘舊的圖片煥發(fā)新生，在本周更是獲得近 3k star。 而本文則是項(xiàng)目團(tuán)隊(duì)成員 Ziyu Wan 發(fā)布于 Hacker News 的項(xiàng)目介紹，Enjoy it~

概述

我們打算通過(guò)深度學(xué)習(xí)的方法來(lái)修復(fù)老化嚴(yán)重的舊照片。與傳統(tǒng)的監(jiān)督式學(xué)習(xí) supervised learning 的修復(fù)任務(wù)不同，真實(shí)照片的老化更為復(fù)雜，合成圖像和真實(shí)舊照片之間的領(lǐng)域差距 domain gap 使得網(wǎng)絡(luò)無(wú)法泛化。因此，我們提出了一種利用真實(shí)照片和大量合成圖像對(duì)的新型三重域翻譯網(wǎng)絡(luò)。具體來(lái)說(shuō)，我們訓(xùn)練了兩個(gè)變分自編碼器 （VAE），分別將舊照片和干凈照片轉(zhuǎn)換為兩個(gè)潛在空間。 通過(guò)合成配對(duì)數(shù)據(jù)來(lái)學(xué)習(xí)兩個(gè)潛在空間之間的轉(zhuǎn)換。因?yàn)樵诰o湊的潛在空間中，domain gap 是封閉的，所以這種翻譯網(wǎng)絡(luò)可以很好地泛化為真實(shí)照片。

此外，為了解決混雜在舊照片中的多個(gè)退化問(wèn)題，我們?cè)O(shè)計(jì)了一個(gè)帶有 partial nonlocal block 的全局分支，用于處理結(jié)構(gòu)性缺陷，如：劃痕、塵點(diǎn)，和一個(gè)局部分支，用于處理非結(jié)構(gòu)性缺陷，如：噪點(diǎn)、模糊。兩個(gè)分支在潛在空間融合，提高從多個(gè)退化問(wèn)題中恢復(fù)舊照片的能力。該方法在相片修復(fù)的視覺(jué)質(zhì)量方面優(yōu)于現(xiàn)有的方法。

架構(gòu)全覽

我們首先訓(xùn)練兩個(gè)變分自編碼器 VAE：VAE1 用于真實(shí)照片 r ∈ R 和合成圖像 x ∈ X，通過(guò)聯(lián)合訓(xùn)練一個(gè)對(duì)抗判別器縮小它們的 domain gap；對(duì)干凈圖像 y ∈ Y 進(jìn)行 VAE2 訓(xùn)練。利用 VAE 將圖像轉(zhuǎn)換到緊湊的潛在空間。

我們了解了在緊湊潛在空間將損壞的圖像恢復(fù)到帶 partial non-local block 的干凈照片的映射。

對(duì)比圖

更多修復(fù)細(xì)節(jié)

近距離圍觀

團(tuán)隊(duì)成員 Ziyu Wan 對(duì) Bringing-Old-Photos-Back-to-Life 的介紹已經(jīng)翻譯完畢，感興趣的小伙伴可以去把玩下，項(xiàng)目地址：

https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

責(zé)任編輯：PSY