描述

在早期的項目中，我開發(fā)了一個自平衡機器人。

機器人可以由操縱桿控制。在這個項目中，機器人由手勢控制。手勢由神經(jīng)網(wǎng)絡識別。神經(jīng)網(wǎng)絡基于TensorFlow Lite 。

TensorFlow Lite 是TensorFlow用于移動和嵌入式設備的輕量級解決方案。它使您可以在 Arduino 等移動設備上運行機器學習模型。

我的草圖是在Arduino Nano BLE Sense上實現(xiàn)的。該板具有內(nèi)置的九軸 IMU。該傳感器模塊包含一個 3 軸陀螺儀、一個 3 軸加速度計和一個 3 軸磁傳感器。

對于使用 TensorFlow 進行訓練，首先使用陀螺儀和加速度計（Sketch IMU_Capture.ino）記錄所需的手勢。之后，使用 PC 上的Jupyter Notebook 或GoogleColab中的 Python 數(shù)據(jù)進行訓練。GoogleColab 提供了一個Jupyter notebook ，它允許我們在網(wǎng)絡瀏覽器中運行我們的機器學習模型。網(wǎng)絡訓練完成后，模型將轉(zhuǎn)換為 TensorFlow Lite。要將模型與 TensorFlow Lite 一起使用，您必須將完整的 TensorFlow 模型轉(zhuǎn)換為 TensorFlow Lite 格式。

最后，將轉(zhuǎn)換后的模型復制到草圖 IMU_Classifier.ino 的 Arduino 頭文件中。

Sandeep Mistry 和 Don Coleman的TinyML 文章中很好地解釋了必要的步驟。

• 練習 1：開發(fā)環(huán)境

• 練習 2：組裝硬件

• 練習 3：可視化 IMU 數(shù)據(jù)

• 練習 4：收集訓練數(shù)據(jù)

• 練習 5：機器學習

• 練習 6：分類 IMU 數(shù)據(jù)

• 練習 7：手勢控制的 USB 表情符號鍵盤

• 練習 8：后續(xù)步驟

草圖的模板在GitHub中：

• ArduinoSketches/IMU_Capture/IMU_Capture.ino

• ArduinoSketches/IMU_Classifier/IMU_Classifier.ino

為了我的目的，我已經(jīng)修改了這些草圖。

Sketch IMU_Classifier.ino使用板載 IMU 開始從板載 IMU 讀取加速度和陀螺儀數(shù)據(jù)，一旦讀取足夠的樣本，它就會使用 TensorFlow Lite (Micro) 模型嘗試將運動分類為已知手勢. 識別手勢后，將 X 和 Y 坐標發(fā)送到自平衡機器人。不幸的是，我無法使用 Arduino Nano 的藍牙 BLE，因為這與我的 DUE 板上的 HC-05 Modul 與自平衡機器人不兼容。這就是我使用 HC-05 藍牙模塊的原因。

在以下示例中顯示了 Caputre 的手勢。

文件“前進”加速的圖形索引 0

?

文件'forward'陀螺儀的圖形索引0

?

鏈接：我在 Google Colab 上的 Jupyter Notebook。您可以在 Google Colaboratory 中運行它。