CMU 和 Facebook 聯(lián)合打造的史上最強(qiáng)德州撲克 AI “Pluribus”在六人德州撲克這項(xiàng)復(fù)雜游戲中擊敗了頂級(jí)人類玩家。今天，Science雜志以封面重磅的形式發(fā)表了該研究論文，詳細(xì)描述了Pluribus的策略。

前不久，一款名叫 “Pluribus” 的 AI 撲克牌機(jī)器人在六人無(wú)限注德州撲克這項(xiàng)復(fù)雜游戲中，碾壓了人類職業(yè)選手！

這是 AI 首次在規(guī)模超過(guò)兩人的復(fù)雜對(duì)局中擊敗頂級(jí)人類玩家。

“Pluribus” 是CMU 和 Facebook 聯(lián)合打造的史上最強(qiáng)德州撲克 AI，重點(diǎn)解決了多人對(duì)局環(huán)境下的非零和博弈和隱藏信息推理問(wèn)題，是該領(lǐng)域的一個(gè)重大突破。

今天，“Pluribus”的論文更是以封面的形式登上Science雜志！

來(lái)自CMU和Facebook AI的Noam Brown和Tuomas Sandholm教授，在論文中詳細(xì)解讀了“Pluribus”的策略。

作者表示，撲克一直是一個(gè)具有挑戰(zhàn)性的問(wèn)題，過(guò)去AI在這類基準(zhǔn)測(cè)試中取得的成功僅限于兩人參與的游戲。然而，傳統(tǒng)上玩撲克的人不止兩個(gè)人。多人撲克是一個(gè)公認(rèn)的AI里程碑。

“Pluribus”AI在六人無(wú)限制注德?lián)渲姓宫F(xiàn)了比頂級(jí)人類專業(yè)玩家更強(qiáng)大的技能。

接下來(lái)，新智元帶來(lái)這篇論文的解讀，完整論文可點(diǎn)擊文末鏈接查看。

基于MCCFR的“藍(lán)圖”策略

三人或三人以上的博弈對(duì)博弈論提出了挑戰(zhàn)。對(duì)于兩個(gè)玩家的零和博弈，存在這樣一種策略，即沒(méi)有玩家可以通過(guò)切換到不同的策略來(lái)提高他們的機(jī)會(huì)。這種所謂的納什均衡被認(rèn)為是博弈的一個(gè)解。

但對(duì)于多人游戲，期望獎(jiǎng)勵(lì)可能因納什均衡的不同而有所不同。保證收斂到納什均衡的快速算法，例如虛擬遺憾最小化算法(CFR)，在多人游戲中可能失效。盡管如此，CFR在一些多人游戲領(lǐng)域仍顯示出良好的經(jīng)驗(yàn)表現(xiàn)。

Pluribus首先通過(guò)自我游戲(self-play)來(lái)學(xué)習(xí)通用技巧，我們稱之為“藍(lán)圖”(blueprint)策略。

然后，在實(shí)際游戲中，它根據(jù)游戲的當(dāng)前狀態(tài)計(jì)算一個(gè)實(shí)時(shí)策略來(lái)細(xì)化blueprint策略。Pluribus程序通過(guò)名為Monte Carlo CFR (MCCFR)的CFR變體學(xué)習(xí)blueprint策略，并進(jìn)行一些改進(jìn)。

Pluribus會(huì)反復(fù)模擬所有玩家使用相同策略的撲克手牌；在每一手牌之后，它會(huì)遞歸地檢查每個(gè)決策，并與在相同情況下可能選擇的其他操作相比，評(píng)估該決策的預(yù)期結(jié)果。

為了提高Pluribus中MCCFR算法的效率，作者在訓(xùn)練的早期階段引入了linear weighted discounting，并在訓(xùn)練的后期對(duì)negative-regret行為進(jìn)行策略剪枝。

系統(tǒng)中最復(fù)雜的部分是實(shí)時(shí)策略組件。為了處理不完美信息，Pluribus執(zhí)行嵌套搜索，維護(hù)搜索樹(shù)的根節(jié)點(diǎn)和每個(gè)玩家持有的牌的根節(jié)點(diǎn)的概率分布，前提是假設(shè)所有玩家使用相同的(已知的)策略。

為了有效評(píng)估葉節(jié)點(diǎn)，Pluribus考慮了blueprint 策略的四種不同變體。

在Abstraction機(jī)制中，Pluribus通過(guò)將類似的情況打包在一起，減少了關(guān)于是否跟注(call)、加注(raise)或棄牌(fold)的決策點(diǎn)的數(shù)量。使用蒙特卡羅虛擬遺憾最小化(MCCFR)，將撲克游戲中樹(shù)搜索的復(fù)雜性從一個(gè)棘手的問(wèn)題降低到一個(gè)可解決的問(wèn)題。

真實(shí)游戲

Pluribus需要為每個(gè)場(chǎng)景提供一個(gè)動(dòng)作(跟注、加注或棄牌)。

抽象游戲

類似的方案，比如高牌9和高牌10一起。

抽象策略

Pluribus使用MCCFR通過(guò)操作將每個(gè)bucket映射到一個(gè)分布。

真實(shí)策略

每個(gè)方案都根據(jù)其bucket的抽象策略映射到操作上的分布。

對(duì)于大型復(fù)雜的游戲，狀態(tài)和動(dòng)作的抽象可以用來(lái)抑制搜索樹(shù)的增長(zhǎng)。這對(duì)于完整的六人無(wú)限德州撲克游戲來(lái)說(shuō)是必要的，因?yàn)榈聯(lián)涮^(guò)復(fù)雜而無(wú)法直接搜索。

相反，如上面的示意圖所示，Pluribus模擬了一個(gè)更簡(jiǎn)單的游戲版本，將類似的決策點(diǎn)組合在一起，并消除了一些操作。

“賭神”AI訓(xùn)練只需144美元

最后，Pluribus的blueprint策略是在64核服務(wù)器上在8天內(nèi)計(jì)算出來(lái)的，總共使用了12400個(gè)CPU核心小時(shí)，所需內(nèi)存小于512 GB。按照當(dāng)前的云計(jì)算費(fèi)用，這花費(fèi)了大約144美元。

這與最近其他所有的超級(jí)AI里程碑游戲形成了鮮明的對(duì)比，那些AI使用了大量的服務(wù)器和/或GPU集群。更多的內(nèi)存和計(jì)算可以支持更細(xì)粒度的blueprint，這將帶來(lái)更好的性能，但也會(huì)導(dǎo)致Pluribus使用更多內(nèi)存或在實(shí)時(shí)搜索變慢。

研究人員將blueprint策略抽象的大小設(shè)置為允許Pluribus在一臺(tái)內(nèi)存不超過(guò)128GB的機(jī)器上實(shí)時(shí)運(yùn)行，同時(shí)在內(nèi)存中存儲(chǔ)blueprint策略的壓縮形式。

由于無(wú)限德州撲克的規(guī)模和復(fù)雜性，整個(gè)游戲的blueprint 策略必然是粗粒度的。Pluribus只在第一輪投注(四次投注)中根據(jù)這個(gè)blueprint策略進(jìn)行操作，其中決策點(diǎn)的數(shù)量足夠少，以至于blueprint策略可以不使用信息抽象，并且在操作抽象中進(jìn)行了很多操作。

在第一輪之后(甚至在第一輪中，如果對(duì)手選擇的賭注大小與blueprint action抽象中的大小完全不同)，Pluribus將進(jìn)行實(shí)時(shí)搜索，以確定針對(duì)當(dāng)前情況的更好、更細(xì)粒度的策略。

結(jié)論

self play 的形式與搜索的形式相結(jié)合，在完全信息的二人零和博弈中取得了許多引人注目的成功。然而，現(xiàn)實(shí)世界中的大多數(shù)戰(zhàn)略交互都包含隱藏的信息和兩個(gè)以上的參與者。這使得這個(gè)問(wèn)題在理論和實(shí)踐上都有很大的不同和困難。

為多人德?lián)溟_(kāi)發(fā)一個(gè)超級(jí)AI是該領(lǐng)域的一個(gè)公認(rèn)的里程碑。在本文中，我們描述了Pluribus，一個(gè)AI，能夠在六人無(wú)限注德州撲克中擊敗人類專業(yè)玩家。

Pluribus的成功表明，盡管對(duì)多人博弈的性能缺乏已知的強(qiáng)有力的理論保證，但仍存在大規(guī)模、復(fù)雜的多人博弈不完全信息設(shè)置，在這種情況下，精心構(gòu)造的self play搜索算法可以生成超越人類的策略。