隨著科技的不斷發(fā)展，人們對于機(jī)器人技術(shù)的需求也逐漸增加。機(jī)器人技術(shù)的應(yīng)用場景越來越廣泛，其中，機(jī)械臂控制系統(tǒng)在很多領(lǐng)域都是一個非常重要的應(yīng)用領(lǐng)域。腦機(jī)接口（BMI）也已被廣泛用于控制機(jī)械臂。然而，對于BMI用戶來說，使用機(jī)械臂控制物體的過程仍然是一項復(fù)雜的任務(wù)。即使經(jīng)過廣泛的訓(xùn)練，也很難達(dá)到高效率和準(zhǔn)確性。一個重要的原因是用戶缺乏足夠的反饋信息來執(zhí)行閉環(huán)控制。

據(jù)報道，微美全息（NASDAQ:WIMI）提出了一種增強(qiáng)現(xiàn)實（AR）引導(dǎo)的輔助方法，使用混合BMI為用戶提供增強(qiáng)的視覺反饋，用于閉環(huán)控制，該混合BMI結(jié)合了腦電圖信號和眼睛跟蹤，以直觀有效地控制機(jī)械臂。

公開資料顯示，微美全息（NASDAQ:WIMI）開發(fā)的基于增強(qiáng)現(xiàn)實控制的閉環(huán)混合信號腦機(jī)接口機(jī)械臂控制方法，通過結(jié)合基于腦電圖（EEG）信號的BMI和眼動追蹤技術(shù)，為用戶提供增強(qiáng)的視覺反饋，在控制機(jī)械臂過程中實現(xiàn)閉環(huán)控制。該系統(tǒng)集成了BMI、眼睛跟蹤、圖像處理、自動控制和AR接口的功能，允許用戶執(zhí)行對象操作任務(wù)。圖像處理用于從工作空間的圖像中分割所有潛在的矩形對象。用戶可以使用眼睛跟蹤來選擇分割的對象。從BMI解碼的輸出用于（1）確認(rèn)用戶選擇的對象，（2）切換動作順序，或（3）在抓取和提升過程中連續(xù)控制夾具的孔徑和高度。用戶選擇的物體以及抓取和提升操作的狀態(tài)通過計算機(jī)屏幕使用AR技術(shù)實時反饋給用戶。最后，機(jī)械臂根據(jù)混合BMI解碼的輸出執(zhí)行拉伸、抓取、提升、遞送和釋放任務(wù)。系統(tǒng)裝置設(shè)備包括眼動儀、腦電圖耳機(jī)、電腦、機(jī)械臂和USB攝像頭。使用混合凝視BMI和AR增強(qiáng)的視覺反饋來執(zhí)行用戶和系統(tǒng)之間的交互。

WIMI微美全息研發(fā)的基于增強(qiáng)現(xiàn)實控制的閉環(huán)混合信號腦機(jī)接口機(jī)械臂控制系統(tǒng)包括：

增強(qiáng)現(xiàn)實控制界面：通過AR技術(shù)，設(shè)計出一個直觀、易用的控制界面，用戶可以通過手勢或語音等方式控制機(jī)械臂的運動。

采集腦電信號：使用腦電圖設(shè)備采集用戶大腦的電信號，將其傳輸?shù)接嬎銠C(jī)。

處理腦電信號：使用信號處理算法，對腦電信號進(jìn)行濾波、特征提取等操作，提取出用戶想要控制的機(jī)械臂運動的指令。

生成控制信號：根據(jù)用戶的腦電信號，生成控制信號，控制機(jī)械臂的運動。

機(jī)械臂控制：機(jī)械臂的控制系統(tǒng)，包括電機(jī)驅(qū)動器、位置傳感器、控制芯片等硬件設(shè)備的選擇和搭建。

實現(xiàn)閉環(huán)控制：將采集到的機(jī)械臂位置反饋信息傳輸回計算機(jī)，實現(xiàn)閉環(huán)控制，確保機(jī)械臂的運動精確、穩(wěn)定。

實時控制：將用戶的控制信號和機(jī)械臂位置反饋信息實時傳輸?shù)綑C(jī)械臂控制系統(tǒng)中，實現(xiàn)實時控制。

同時，WIMI微美全息對所開發(fā)的閉環(huán)系統(tǒng)（具有AR反饋）與目前傳統(tǒng)的開環(huán)系統(tǒng)（僅具有視覺檢查）進(jìn)行了測試。結(jié)果表明，與僅使用正常視覺檢查的試驗相比，AR反饋顯著降低了抓取和提升物體的觸發(fā)命令。此外，夾具在提升過程中的高度間隙也減小了?；旌螧MI用戶受益于AR界面提供的信息，這提高了效率，并減少了抓舉過程中的認(rèn)知負(fù)荷。AR反饋的閉環(huán)系統(tǒng)為用戶使用混合BMI控制機(jī)械臂提供了一種新穎有效的方法，通過集成更先進(jìn)的圖像處理和機(jī)器學(xué)習(xí)算法來進(jìn)一步改進(jìn)傳統(tǒng)控制系統(tǒng)，以增強(qiáng)工作空間中對象的分割和BMI信號的解碼。

科技在不斷進(jìn)步和發(fā)展，機(jī)器人技術(shù)的應(yīng)用場景越來越廣泛。機(jī)械臂控制系統(tǒng)作為機(jī)器人技術(shù)的一個重要應(yīng)用領(lǐng)域，市場前景非常廣闊。特別是在生產(chǎn)制造行業(yè)中，機(jī)械臂控制系統(tǒng)已經(jīng)成為了必不可少的工具。WIMI微美全息基于增強(qiáng)現(xiàn)實控制的閉環(huán)混合信號腦機(jī)接口機(jī)械臂控制系統(tǒng)，采用了增強(qiáng)現(xiàn)實技術(shù)和腦機(jī)接口技術(shù)，可以提高操作的準(zhǔn)確性和速度，同時還保證了操作的安全性，擁有非常廣泛的市場前景。WIMI微美全息也將進(jìn)一步完善與改進(jìn)該系統(tǒng)，使其適用與現(xiàn)實的市場需求，用于目前的工業(yè)生產(chǎn)環(huán)境。

審核編輯黃宇