疊疊樂是一款家喻戶曉的娛樂游戲。近期，MIT的研究人員發(fā)明了一款機器手，可以通過視覺和觸覺，毫無壓力的玩轉這款游戲。而這項研究的方法，有望推廣到其它類似任務的領域中。

在MIT3號樓的地下室，一個機器人正在小心翼翼的玩著“層層疊”游戲。

這個游戲想必大家或多或少都有所接觸。簡單來說就是在保證積木不倒的情況下，從底部抽取木條，再堆到頂部。會有一種“釜底抽薪”的感覺。

而這個游戲對于這個機器人來說可以說是毫無壓力。

從視覺、觸覺出發(fā)，快速學習執(zhí)行任務最佳方式

該機器人由MIT的工程師開發(fā)，配備了一個軟齒狀夾持器、一個力感應腕帶和一個外部攝像頭?？梢哉f是從視覺和觸覺兩個方面協(xié)同合作來完成任務。

當機器人小心地推一塊積木時，電腦從它的攝像頭和腕帶接收視覺和觸覺的反饋，并將這些測量值與機器人之前的動作進行比較。

它還考慮了這些移動的結果——具體來說，就是考慮是否成功地提取了具有特定配置并以一定力量推動的積木。在實時情況下，機器人會“學習”是繼續(xù)推還是移動到一個新的區(qū)域，以防止積木倒塌。

MIT機械工程系理教授Alberto Rodriguez表示，機器人展示了以前系統(tǒng)中難以實現(xiàn)的一些東西：能夠快速學習執(zhí)行任務的最佳方式，不僅從視覺方面，還從觸覺方面做到物體的精確互動。

Rodriguez說：“與國際象棋或圍棋等純粹的認知任務或游戲不同，玩“層層疊這個游戲還需要掌握探測、推、拉、放置和對齊等技能。它需要互動的感知和操作，你必須去觸摸積木塔，學習如何以及何時移動積木。這是很難模擬的，所以機器人必須在現(xiàn)實世界中學習，通過與真實的積木塔進行互動。關鍵的挑戰(zhàn)是通過利用關于物體和物理的常識來從相對少量的實驗中學習?！?/p>

Rodriguez還表示，研究人員開發(fā)的觸覺學習系統(tǒng)可以應用于層層疊以外的領域，特別是需要仔細進行物理交互的任務，包括從垃圾填埋場中分離可回收物品和組裝消費品。

推、拉動作以及堆疊積木是關鍵

推、拉

在這個實驗中， 54個矩形塊被堆疊成18層，每層三塊，每層中的塊垂直于下面的塊。

游戲的目的是小心地提取一個塊并將其放置在塔頂，從而建立一個新的水平，而不是推翻整個結構。

為了讓機器人來玩層層疊，傳統(tǒng)的機器學習方案可能需要捕獲積木、機器人和塔之間可能發(fā)生的所有事情，但這是一項昂貴的計算任務，需要數(shù)千甚至數(shù)萬次積木提取嘗試的數(shù)據(jù)。

相反，Rodriguez和他的同事們受人類認知和我們自己玩游戲的方式的啟發(fā)，為機器人學習玩層層疊尋找了一種更有效的數(shù)據(jù)方式。

該團隊定制了一個符合行業(yè)標準的ABB IRB 120機器人手臂，然后在機器人范圍內設置了一個積木塔，并開始了一個訓練期，其中機器人首先選擇一個隨機區(qū)塊和一個位于該區(qū)域上的位置以進行推動。 然后它施加少量的力以試圖將塊推出塔外。

對于每次嘗試，計算機記錄相關的視覺和力測量，并標記每個嘗試是否成功。

該機器人不是進行數(shù)萬次這樣的嘗試，而是在大約300次嘗試中進行訓練，嘗試進行類似的測量，并將結果分組，代表特定的行為。

例如，一個數(shù)據(jù)集群可能代表對難以移動的塊的嘗試，而不是一個更容易移動的塊，或者在移動時推翻了塔。 對于每個數(shù)據(jù)集群，機器人開發(fā)了一個簡單的模型，以根據(jù)當前的視覺和觸覺測量來預測塊的行為。

這種聚類技術大大提高了機器人學習玩游戲的效率。

堆疊

研究人員在使用模擬器MuJoCo進行的游戲計算機模擬中，將他們的方法與其他最先進的機器學習算法進行了對比。在模擬器中獲得的經(jīng)驗告訴研究人員機器人在現(xiàn)實世界中學習的方式。

論文作者Oller說：“我們?yōu)檫@些算法提供了我們系統(tǒng)獲得的相同信息，以了解他們如何學習、如何在相似的水平上玩層層疊。與我們的方法相比，這些算法需要探索數(shù)量級更多的塔來學習游戲?！?/p>

由于好奇他們的機器學習方法與真正的人類玩家相比如何，該團隊在幾個志愿者中進行了一些非正式的試驗。

Oller說：“我們觀察了人類在積木塔倒塌之前能夠提取積木的個數(shù)，結果差別并沒有那么大。”

但如果研究人員想讓他們的機器人與人類玩家競爭，還有很長的路要走。除了物理上的交互作用，Jenga還需要一些策略，例如只提取正確的塊，這將使得對手很難在不推翻塔的情況下拉出下一個積木塊。

目前，該團隊對開發(fā)機器人來取得層層疊游戲冠軍并不感興趣，而更關注于將機器人的新技能應用到其他應用領域。

Rodriguez說：“有很多我們用手做的事情，感覺‘正確的方式’來自于力量和觸覺暗示的語言。對于這樣的任務，類似于我們的方法可以解決這個問題?！?/p>

這篇論文發(fā)表在Science子刊——Robotics，有興趣的讀者可以復制下方鏈接閱讀全文。