今天，將手把手帶領(lǐng)學(xué)習(xí)如何訓(xùn)練一個(gè)語音關(guān)鍵詞模型部署到嵌入式硬件上，采用 Edgi-Talk 平臺(tái)適配 Edge Impulse，當(dāng)然原理在其他的ARM嵌入式平臺(tái)也是通用的。讓我們看看如何讓 Edgi-Talk 開始使用邊緣機(jī)器學(xué)習(xí)！

目錄

Edge Impulse 簡介

創(chuàng)建賬號(hào)

錄制數(shù)據(jù)集

數(shù)據(jù)上傳

數(shù)據(jù)分割

模型訓(xùn)練

模型評估

模型集成

淘寶鏈接直達(dá)

1Edge Impulse 簡介

Edge Impulse是領(lǐng)先的邊緣人工智能開發(fā)平臺(tái)，致力于幫助開發(fā)者、工程師和企業(yè)將智能AI快速部署到任何邊緣設(shè)備（如微控制器、傳感器和物聯(lián)網(wǎng)硬件）上。

你可以輕松采集傳感器數(shù)據(jù)、構(gòu)建數(shù)據(jù)集、訓(xùn)練并優(yōu)化機(jī)器學(xué)習(xí)模型，然后一鍵部署到全球數(shù)千種硬件生態(tài)系統(tǒng)，無需深厚的AI專業(yè)知識(shí)即可實(shí)現(xiàn)快速原型開發(fā)和商業(yè)化落地。

2 創(chuàng)建賬號(hào)

操作步驟：

1. 登錄Edge Impulse，https://edgeimpulse.com/

2. 注冊賬號(hào)；

3. 通過create new project創(chuàng)建工程

2 錄制數(shù)據(jù)集

1.給 Edgi-Talk 開發(fā)板燒錄 UAC 固件，用于收集音頻數(shù)據(jù)：uac-firmware.hex；（鏈接：https://github.com/RT-Thread-Studio/sdk-bsp-psoc_e84-edgi-talk/releases/download/1.1.0/uac-firmware.hex）

2.下載音頻數(shù)據(jù)集錄制軟件：Audio-recording.exe；（鏈接：https://github.com/RT-Thread-Studio/sdk-bsp-psoc_e84-edgi-talk/releases/download/1.1.0/audio-recording.exe）

3.將開發(fā)板的 USB 連接到電腦上，電腦會(huì)彈出音頻輸入設(shè)備；

4.音頻輸入設(shè)備需要選擇：Audio Control（MME）設(shè)備；

5.點(diǎn)擊開始錄制進(jìn)行一次長達(dá)10 秒的錄制，錄制期間需要保證清晰的對話，喚醒詞錄制需要間隔1-2s停頓時(shí)間；

6.錄制好一次后，點(diǎn)擊右側(cè)的“保存錄音”選擇，進(jìn)行一次保存；

7.當(dāng)前序號(hào)選項(xiàng)默認(rèn)會(huì)遞增，請重復(fù)上述步驟錄制 20-50 個(gè)關(guān)鍵詞音頻文件；

8.最終錄制兩類音頻文件，一類是喚醒詞，一類是噪音；

3 數(shù)據(jù)上傳

1. 點(diǎn)擊add exsiting data

2. 選擇upload data

3. 選擇電腦上的音頻文件夾并上傳，此時(shí)網(wǎng)站會(huì)根據(jù)文件名稱自動(dòng)進(jìn)行分類（nocie，喚醒詞）

4 數(shù)據(jù)分割

操作步驟：

1. 首先選擇 Training 列表的數(shù)據(jù)，先點(diǎn)擊篩選，輸入我們喚醒詞的文件前綴，篩選出我們要操作的文件

2. 右側(cè)點(diǎn)擊音頻文件后，選擇Split sample，平臺(tái)會(huì)將聲音文件切分為大致1s的音頻片段

3. 在分割音頻界面，可以調(diào)整音頻片段，以覆蓋喚醒詞的聲音內(nèi)容，播放進(jìn)行試聽和調(diào)整

每個(gè)矩形框就是拆分提取的一個(gè)子模塊，如有必要，可以調(diào)整矩形的位置，讓其完全覆蓋住我們的喚醒詞音頻區(qū)，或者也可以做一些添加或刪除片段的操作。

4. 拆分后的音頻文件都會(huì)變成獨(dú)立的音頻文件，網(wǎng)站會(huì)自動(dòng)添加后后綴名（xxxx_Sn）

5. 按照上述步驟，將全部喚醒詞文件進(jìn)行分割好

6. 選擇 Test 列表的數(shù)據(jù)，針對 喚醒詞 文件繼續(xù)進(jìn)行分割，noice 標(biāo)簽可以不用分割

7. 對數(shù)據(jù)進(jìn)行分類：按照下圖步驟將數(shù)據(jù)集分為兩大類，分別是 喚醒詞 + 其他

5 模型訓(xùn)練

5.1 創(chuàng)造脈沖信號(hào)(預(yù)處理/模型定義)

脈沖在這里是Edge Impulse用來表示數(shù)據(jù)處理—訓(xùn)練管道的詞匯。

創(chuàng)建脈沖并將窗口長度設(shè)置為 1000 毫秒，窗口長度增加設(shè)置為 500 毫秒（重疊窗口以增強(qiáng)數(shù)據(jù)），頻率設(shè)置 16KHz。

這些設(shè)置表示，每次執(zhí)行推理時(shí)，傳感器數(shù)據(jù)采集將在 1000 毫秒內(nèi)完成，具體采集次數(shù)由采樣頻率決定。

簡而言之，你的設(shè)備會(huì)在 1000 毫秒的時(shí)間窗口內(nèi)收集 N 個(gè)數(shù)據(jù)樣本，隨后對這些樣本進(jìn)行預(yù)處理，并輸入神經(jīng)網(wǎng)絡(luò)以獲得推理結(jié)果。

操作步驟：

1. 點(diǎn)擊左側(cè)Create impulse

2. 然后點(diǎn)擊Add a processing block 添加 Audio(MFCC)

3. 會(huì)彈出下面的對話框，使用默認(rèn)的配置即可：

4. 使用MFCC，它使用梅爾頻率倒譜系數(shù)從音頻信號(hào)中提取特征，這對人類聲音非常有用。

5. 然后點(diǎn)擊Add a learning block添加Classification模塊，它通過使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類從頭開始構(gòu)建我們的模型。

6. 最后點(diǎn)擊save impulse，保存配置

5.2 預(yù)處理(MFCC)

MFCC 是一種廣泛使用的方法，用于將音頻信號(hào)轉(zhuǎn)換為表示語音頻率模式的 2D 特征，這些特征非常適合基于語音的識(shí)別模型

我們創(chuàng)建錄制音頻生成的頻譜圖圖像，操作步驟：

1. 點(diǎn)擊MFCC，我們可以保留默認(rèn)參數(shù)值

2. 直接點(diǎn)擊Save parameters

3. 點(diǎn)擊Generate features，生成3個(gè)標(biāo)簽數(shù)據(jù)的特征

5.3 模型設(shè)計(jì)與訓(xùn)練(Classifier)

下一步，我們需要對模型的結(jié)構(gòu)進(jìn)行設(shè)計(jì)和開始訓(xùn)練，步驟如下：

操作步驟：

1. 點(diǎn)擊左側(cè)Classifier，整個(gè)模型的結(jié)構(gòu)設(shè)計(jì)已經(jīng)配置好

2. 然后點(diǎn)擊save&train，開始訓(xùn)練模型。

通過多次迭代，可以提升模型泛化能力。

經(jīng)過驗(yàn)證，提升方法包括：優(yōu)化測試數(shù)據(jù)集、調(diào)整模型結(jié)構(gòu)(如增加更多卷積層)等。

平臺(tái)對于訓(xùn)練時(shí)間有限制要求，免費(fèi)用戶只能進(jìn)行訓(xùn)練時(shí)間在20分鐘以內(nèi)的訓(xùn)練；

如果需要不限時(shí)間，需要購買付費(fèi)服務(wù)才可以進(jìn)行。

6 模型評估

操作步驟：

1. 點(diǎn)擊左側(cè)的Model testing

2. 然后點(diǎn)擊Classify all

3. 開始分類所有的測試集數(shù)據(jù)。

4. 測試之后，可以在右側(cè)的Result查看測試結(jié)果

7 模型集成

7.1 生成模型庫文件

模型訓(xùn)練完成后，我們需要生成在 Edgi-Talk 平臺(tái)上運(yùn)行的庫文件。

操作步驟：

1. 點(diǎn)擊左側(cè)Deploment

2. 搜索Arduino library和TensorFlow Lite

3. 然后點(diǎn)擊Build，待build完成后，保存下載的庫文件。

7.2 部署到嵌入式硬件

1. 將上一步下載得到的壓縮包進(jìn)行解壓，可以得到如下的文件目錄

2. 獲取最新的 Edgi-Talk 開發(fā)板 SDK，進(jìn)入Edgi_Talk_M55_XiaoZhi/edge-impulse 目錄，刪除下圖中的兩個(gè)文件夾，然后將上一步中的兩個(gè)文件夾，替換到當(dāng)前目錄中，即可實(shí)現(xiàn)模型文件的替換

3. 編譯 Edgi_Talk_M55_XiaoZhi 項(xiàng)目，并燒錄到開發(fā)板中。

4. 在 Edgi-Talk 串口終端中輸入下面的指令，開啟喚醒詞測試：

xz_wakeword_initxz_wakeword_start

4. 對開發(fā)板說出喚醒詞，這里演示使用的是“xiaorui，xiaorui”，當(dāng)說出喚醒詞的時(shí)候串口終端會(huì)打印日志