編者按：近日，NeuroAscent聯(lián)合創(chuàng)始人、數(shù)據(jù)科學(xué)家Sanyam Bhutani對(duì)Ian Goodfellow博士進(jìn)行了一次采訪。在他們的對(duì)話中，深度學(xué)習(xí)研究員、GAN之父Goodfellow回顧了自己當(dāng)年的科研經(jīng)歷，簡(jiǎn)要介紹了自己對(duì)于科研、行業(yè)和未來(lái)發(fā)展的一些看法。

Sanyam Bhutani：您好，GAN之父，感謝您愿意接受我的采訪。

Ian Goodfellow：非常歡迎！非常感謝你愿意采訪我，以及撰寫(xiě)博客來(lái)幫助其他學(xué)生。

Sanyam Bhutani：作為Google AI的研究科學(xué)家，同時(shí)也是生成對(duì)抗網(wǎng)絡(luò)（GAN）的發(fā)明人，您能向我們的讀者透露一下自己的科研經(jīng)歷嗎？比如您是什么時(shí)候開(kāi)始研究GAN的？是什么讓您對(duì)深度學(xué)習(xí)產(chǎn)生了興趣？

Ian Goodfellow：我從本科開(kāi)始就已經(jīng)在研究人工智能了，只不過(guò)那時(shí)機(jī)器學(xué)習(xí)主要是SVM、boosted tree等。在課余，我也是游戲編程的業(yè)余愛(ài)好者，會(huì)用GLslang制作一些小項(xiàng)目。一次，我的朋友Ethan Dreyfuss（他現(xiàn)在在Zoox工作）告訴了我兩件事：Geoff Hinton在谷歌的技術(shù)演講上提到了深度信念網(wǎng)絡(luò)（DBN）；CUDA GPU。

我當(dāng)即就意識(shí)到深度學(xué)習(xí)能彌補(bǔ)SVM帶給我的很多缺憾。一方面，SVM在設(shè)計(jì)模型上不夠自由，投入更多數(shù)據(jù)資源后，它不會(huì)直接變得更“智能”，但深度神經(jīng)網(wǎng)絡(luò)可以隨著投入數(shù)據(jù)的增加不斷提升性能。另一方面，CUDA GPU能允許我訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò)，由于有游戲編程經(jīng)驗(yàn)，我知道該怎么編寫(xiě)GPU代碼。

就在那個(gè)寒假，我和Ethan在斯坦福大學(xué)搭好了第一臺(tái)CUDA計(jì)算機(jī)，并用它開(kāi)始訓(xùn)練玻爾茲曼機(jī)。

Sanyam Bhutani：正如您所講的，你只花了一晚上就寫(xiě)出了第一個(gè)GAN，但一般在研究上作出突破都至少需要幾個(gè)月甚至幾年。您能談?wù)勛约簽槭裁茨茉谝灰怪g就實(shí)現(xiàn)突破嗎？

Ian Goodfellow：如果你有一個(gè)和新想法相關(guān)的高質(zhì)量codebase（代碼庫(kù)），實(shí)現(xiàn)這個(gè)想法其實(shí)很容易。早在幾年前，我和同事就已經(jīng)圍繞Theano和Pylearn2的庫(kù)做了很多工作，它們都是第一個(gè)GAN的構(gòu)建基礎(chǔ)。早年有篇論文叫Maxout Networks，我們?cè)抡账约簩?xiě)了個(gè)MNIST分類(lèi)器，到訓(xùn)練GAN時(shí)，我們直接復(fù)制了分類(lèi)器的代碼，論文的超參數(shù)在GAN里也很好用，所以我們基本沒(méi)做什么更新。再加上在MNIST上訓(xùn)練用時(shí)很短，我認(rèn)為第一個(gè)MNIST GAN只花了我大約一小時(shí)的時(shí)間。

Sanyam Bhutani：自發(fā)明以來(lái)，我們?cè)贕AN上看到了很多可喜的進(jìn)展，您最欣賞其中的哪一個(gè)呢？

Ian Goodfellow：這很難選。當(dāng)Emily Denton和Soumith Chintala提出LAPGAN的時(shí)候，我第一次意識(shí)到GAN的廣大前景。當(dāng)然，LAPGAN只是暴風(fēng)雨前的一朵小浪花。

Sanyam Bhutani：除了GAN，你最好看深度學(xué)習(xí)的哪個(gè)領(lǐng)域呢？

Ian Goodfellow：我在研究模型對(duì)于對(duì)抗樣本的穩(wěn)健性上花了不少時(shí)間。為了把機(jī)器學(xué)習(xí)用于實(shí)際應(yīng)用，確保它的安全性非常重要。我也希望這項(xiàng)研究能幫我們更好地理解什么是機(jī)器學(xué)習(xí)。

Sanyam Bhutani：對(duì)于那些有興趣從事深度學(xué)習(xí)的讀者和初學(xué)者，對(duì)于那些夢(mèng)想著有一天能進(jìn)入Google工作的人，您有什么好的建議嗎？

Ian Goodfellow：首先要學(xué)習(xí)基礎(chǔ)知識(shí)：編程、debug、線性代數(shù)、概率論。大多數(shù)高級(jí)研究項(xiàng)目最看重一個(gè)人的基礎(chǔ)知識(shí)掌握水平，而不是他對(duì)先進(jìn)技術(shù)的了解程度。舉個(gè)例子，今天我就在調(diào)試內(nèi)存泄露，因?yàn)樗屛覜](méi)法實(shí)驗(yàn)，我也在加快軟件庫(kù)的單元測(cè)試，以便嘗試更多研究思路。當(dāng)我還在讀本科、讀博士的時(shí)候，我經(jīng)常會(huì)向吳恩達(dá)討教，他建議我一定要徹底掌握這些基礎(chǔ)知識(shí)。那時(shí)我覺(jué)得這些工作很無(wú)聊，希望他能多跟我說(shuō)說(shuō)超實(shí)數(shù)之類(lèi)的東西，但現(xiàn)在幾年過(guò)去了，我覺(jué)得他的建議真的是正確的。

Sanyam Bhutani：您能跟我們說(shuō)說(shuō)您在Google的一天是什么樣的嗎？

Ian Goodfellow：對(duì)于不同人，甚至是同一個(gè)人的不同人生階段，這種體驗(yàn)是非常不一樣的。有時(shí)候，我就是寫(xiě)寫(xiě)代碼、跑跑實(shí)驗(yàn)、讀幾篇論文，或者寫(xiě)寫(xiě)書(shū)。有時(shí)候，我就需要花大多數(shù)時(shí)間參加幾個(gè)不同的會(huì)議，檢查許多不同的項(xiàng)目?，F(xiàn)在我在檢查別人工作上花去的時(shí)間要占60%，處理自己的項(xiàng)目則占40%。

Sanyam Bhutani：有一種普遍想法是，如果想在深度學(xué)習(xí)中取得重大成果，一個(gè)必要前提是有大量資源。您是怎么看待這個(gè)觀點(diǎn)的呢？你是否覺(jué)得存在那么一個(gè)人，他沒(méi)有Google能提供的那么多資源，但他最終做出了突破性貢獻(xiàn)？

Ian Goodfellow：我同意，當(dāng)然存在這么一個(gè)人，但他首先得選好合適的研究項(xiàng)目。比如證明一個(gè)有趣的理論結(jié)果可能不需要計(jì)算資源，設(shè)計(jì)一個(gè)只需極少數(shù)據(jù)但性能好、通用性強(qiáng)的算法也不需要超大型數(shù)據(jù)集。但是，如果你沒(méi)有足夠多的硬件做并行計(jì)算，你最好不要去挑戰(zhàn)構(gòu)建全世界訓(xùn)練速度最快的ImageNet分類(lèi)器。

Sanyam Bhutani：鑒于研究成果的爆炸性增長(zhǎng)，您是怎么讓自己與時(shí)俱進(jìn)的？

Ian Goodfellow：不久前，我覺(jué)得自己已經(jīng)掌握了深度學(xué)習(xí)的所有知識(shí)，尤其是在我編書(shū)的時(shí)候。但現(xiàn)在我做不到了，我真的只能關(guān)注和自己的研究有關(guān)的主題，我甚至都說(shuō)不清GAN發(fā)生了什么變化。

Sanyam Bhutani：您覺(jué)得機(jī)器學(xué)習(xí)被高估了嗎？

Ian Goodfellow：就其長(zhǎng)期潛力而言，我實(shí)際上認(rèn)為機(jī)器學(xué)習(xí)還是被低估了，因?yàn)橥庑腥诉€沒(méi)有像我們一樣對(duì)它津津樂(lè)道。但我認(rèn)為機(jī)器學(xué)習(xí)確實(shí)經(jīng)常被“錯(cuò)誤炒作”：人們會(huì)夸大現(xiàn)階段這種技術(shù)的可能性，或者夸大個(gè)別項(xiàng)目的進(jìn)展等。

Sanyam Bhutani：您認(rèn)為非機(jī)器學(xué)習(xí)專(zhuān)業(yè)的博士/碩士能否為深度學(xué)習(xí)領(lǐng)域做出貢獻(xiàn)？

Ian Goodfellow：我認(rèn)為培養(yǎng)專(zhuān)業(yè)知識(shí)很重要，但我不認(rèn)為博士學(xué)位是獲得這種專(zhuān)業(yè)知識(shí)的唯一途徑。最優(yōu)秀的博士生往往都是自學(xué)型人才，只要有足夠時(shí)間學(xué)習(xí)，他們也能做到邊工作邊成長(zhǎng)。

Sanyam Bhutani：最后，您能給那些對(duì)深度學(xué)習(xí)感到不知所措的初學(xué)者一些建議嗎？

Ian Goodfellow：從一個(gè)簡(jiǎn)單項(xiàng)目開(kāi)始，重新實(shí)現(xiàn)那些你已經(jīng)了解，而且知道肯定能成的東西，比如CIFAR-10分類(lèi)器。很多人都會(huì)想一開(kāi)始就直接去做一些新的事情，然后項(xiàng)目失敗了，你也不知道是項(xiàng)目本身行不通，是你自己的思路有問(wèn)題，還是你對(duì)一些關(guān)鍵點(diǎn)的理解有誤。我覺(jué)得有一個(gè)可以實(shí)踐的項(xiàng)目很重要：深度學(xué)習(xí)有時(shí)就像開(kāi)飛機(jī)，你可以讀很多東西，但你也要親自上手體驗(yàn)并發(fā)現(xiàn)另一些直觀的經(jīng)驗(yàn)。