摘要：前言 在上一周的測(cè)試中，我們按照官方給的流程，使用EasyDL快速實(shí)現(xiàn)了一個(gè)具有性別檢測(cè)功能的人臉識(shí)別系統(tǒng)，那么 今天，我們將要試一下通過(guò)Paddlepaddle從零開(kāi)始，訓(xùn)練一個(gè)自己的多分類(lèi)模型，并進(jìn)行嵌入式部署。 整個(gè)訓(xùn)練 過(guò)程和模型在：https://aistudio.baidu.com/aistudio/projectDetail/61103 下面詳細(xì)介紹模型訓(xùn)練...

前言

在上一周的測(cè)試中，我們按照官方給的流程，使用EasyDL快速實(shí)現(xiàn)了一個(gè)具有性別檢測(cè)功能的人臉識(shí)別系統(tǒng)，那么

今天，我們將要試一下通過(guò)Paddlepaddle從零開(kāi)始，訓(xùn)練一個(gè)自己的多分類(lèi)模型，并進(jìn)行嵌入式部署。 整個(gè)訓(xùn)練

過(guò)程和模型在：https://aistudio.baidu.com/aistudio/projectDetail/61103 下面詳細(xì)介紹模型訓(xùn)練的過(guò)程.

數(shù)據(jù)集準(zhǔn)備

我們使用CIFAR10數(shù)據(jù)集。CIFAR10數(shù)據(jù)集包含60,000張32x32的彩色圖片，10個(gè)類(lèi)別，每個(gè)類(lèi)包含6,000張。其中

50,000張圖片作為訓(xùn)練集，10000張作為驗(yàn)證集。

!mkdir‐p/home/aistudio/.cache/paddle/dataset/cifar#wget將下載的文件存放到指定的文件夾下，同時(shí)重命名下載的文件，利用‐O!wget"http://ai‐atest.bj.bcebos.com/cifar‐10‐python.tar.gz"‐Ocifar‐10‐python.tar.gz!mvcifar‐10‐python.tar.gz/home/aistudio/.cache/paddle/dataset/cifar/

模型結(jié)構(gòu)

我們選擇了以三個(gè)卷積層串聯(lián)一個(gè)全連接層的輸出，作為貓狗分類(lèi)的預(yù)測(cè)，采用固定維度輸入，輸出為分類(lèi)數(shù)

defconvolutional_neural_network(img):#第一個(gè)卷積‐池化層conv_pool_1=fluid.nets.simple_img_conv_pool(input=img,#輸入圖像filter_size=5,#濾波器的大小num_filters=20,#filter的數(shù)量。它與輸出的通道相同pool_size=2,#池化層大小2*2pool_stride=2,#池化層步長(zhǎng)act="relu")#激活類(lèi)型#第二個(gè)卷積‐池化層conv_pool_2=fluid.nets.simple_img_conv_pool(input=conv_pool_1,filter_size=5,num_filters=50,pool_size=2,pool_stride=2,act="relu")#第三個(gè)卷積‐池化層conv_pool_3=fluid.nets.simple_img_conv_pool(input=conv_pool_2,filter_size=5,num_filters=50,pool_size=2,pool_stride=2,act="relu")#以softmax為激活函數(shù)的全連接輸出層，10類(lèi)數(shù)據(jù)輸出10個(gè)數(shù)字prediction=fluid.layers.fc(input=conv_pool_3,size=10,act='softmax')returnprediction

訓(xùn)練&驗(yàn)證

接下來(lái)在Paddlepaddle fluid上，進(jìn)行訓(xùn)練。整個(gè)訓(xùn)練代碼見(jiàn)附件train.py 模型驗(yàn)證,采用附件predict.py的代碼進(jìn)

行驗(yàn)證與運(yùn)行時(shí)間的測(cè)量，選取一張狗的圖：dog.jpg (可以fork首頁(yè)鏈接aistudio平臺(tái)上的demo) 連續(xù)預(yù)測(cè)10000

次，輸出如下:

CPU運(yùn)行結(jié)果為：預(yù)處理時(shí)間為0.0006270000000085929，預(yù)測(cè)時(shí)間為：16.246494Out:im_shape的維度：(1,3,32,32)Theruntimeofimageprocessis0.0006270000000085929Theruntimeofpredictis16.246494results[array([[5.0159363e‐04,3.5942634e‐05,2.5955746e‐02,4.7745958e‐02,9.9251214e‐03,9.0146154e‐01,1.9564393e‐03,1.2230080e‐02,4.7619540e‐08,1.8753216e‐04]],dtype=float32)]inferresults:dog

GPUV100運(yùn)行結(jié)果為：預(yù)處理時(shí)間為0.0006390000000067175，預(yù)測(cè)時(shí)間為：15.903074000000018Out:im_shape的維度：(1,3,32,32)Theruntimeofimageprocessis0.0006390000000067175Theruntimeofpredictis15.903074000000018results[array([[5.0159392e‐04,3.5942641e‐05,2.5955772e‐02,4.7746032e‐02,9.9251205e‐03,9.0146142e‐01,1.9564414e‐03,1.2230078e‐02,4.7619821e‐08,1.8753250e‐04]],dtype=float32)]inferresults:dog

可以看到,模型可以正確的識(shí)別出圖片中的動(dòng)物為狗，接下來(lái)，我們就要嘗試將這個(gè)模型部署到Edgeboard上面。

模型導(dǎo)出

我們需要將模型保存為模型文件model以及權(quán)重文件params,可以采用如下Paddle的API進(jìn)行保存如圖所示，在A(yíng)iStudio的左側(cè)打開(kāi)模型文件所在的文件夾，下載mlp-model、mlp-params兩個(gè)文件。

在Edgeboard上部署模型，完成預(yù)測(cè)

1、新建工程文件夾，目錄結(jié)構(gòu)如下(可以仿照sample里的resnet、inception例程)：

‐sample_image_catdog‐build‐image‐include‐paddlepaddle‐mobile‐...‐lib‐libpaddle‐mobile.so‐model‐mlp‐model‐params‐src‐fpga_cv.cpp‐main.cpp

2、將AiStudio上導(dǎo)出來(lái)的模型放置在model里的mlp文件夾，修改名字為model、params

3、新建 CMakeLists.txt

cmake_minimum_required(VERSION3.5.1)project(paddle_edgeboard)set(CMAKE_CXX_STANDARD14)set(CMAKE_EXE_LINKER_FLAGS"${CMAKE_EXE_LINKER_FLAGS}‐pthread")add_definitions(‐DPADDLE_MOBILE_FPGA_V1)add_definitions(‐DPADDLE_MOBILE_FPGA)set(PADDLE_LIB_DIR"${PROJECT_SOURCE_DIR}/lib")set(EASYDL_INCLUDE_DIR"${PROJECT_SOURCE_DIR}/include")set(PADDLE_INCLUDE_DIR"${PROJECT_SOURCE_DIR}/include/paddle‐mobile")set(APP_NAME"paddle_edgeboard")aux_source_directory(${CMAKE_CURRENT_SOURCE_DIR}/srcSRC)find_package(OpenCVQUIETCOMPONENTScorevideoiohighguiimgprocimgcodecsmlvideo)include_directories(SYSTEM${OpenCV_INCLUDE_DIRS})#list(APPENDCaffe_LINKER_LIBS${OpenCV_LIBS})message(STATUS"OpenCVfound(${OpenCV_CONFIG_PATH})，${OpenCV_LIBS}")#add_definitions(‐DUSE_OPENCV)include_directories(${EASYDL_INCLUDE_DIR})include_directories(${PADDLE_INCLUDE_DIR})LINK_DIRECTORIES(${PADDLE_LIB_DIR})add_executable(${APP_NAME}${SRC})target_link_libraries(${APP_NAME}paddle‐mobile)target_link_libraries(${APP_NAME}${OpenCV_LIBS})

4、main.cpp

#include#include"io/paddle_inference_api.h"#include"math.h"#include#include#include#include#include#include#include#include#include#include#include"fpga/KD/float16.hpp"#include"fpga/KD/llapi/zynqmp_api.h"usingnamespacepaddle_mobile;#include#includeusingnamespacecv;cv::Matsample_float;staticstd::vectorlabel_list(10);voidreadImage(std::stringfilename,float*buffer){Matimg=imread(filename);if(img.empty()){std::cerr<(config);std::cout<({1,3,32,32});tensor.data=PaddleBuf(data,sizeof(data));tensor.dtype=PaddleDType::FLOAT32;std::vectorpaddle_tensor_feeds(1,tensor);PaddleTensortensor_out;tensor_out.shape=std::vector({});tensor_out.data=PaddleBuf();tensor_out.dtype=PaddleDType::FLOAT32;std::vectoroutputs(1,tensor_out);std::cout<Run(paddle_tensor_feeds,&outputs);std::cout<(outputs[0].data.data());for(size_tj=0;jmax){max=val>max?val:max;iindex=i;}}label_list={"airplane","automobile","bird","cat","deer","dog","frog","horse","ship","truck"};std::cout<
5、編譯運(yùn)行
insmod/home/root/workspace/driver/fpgadrv.kocd/home/root/workspace/sample/sample_image_catdogmkdirbuildcdbuildrm‐rf*cmake..make./paddle_edgeboard
修改main文件要預(yù)測(cè)的圖像：
6、修改main文件后重復(fù)執(zhí)行預(yù)測(cè)，可得結(jié)果如下：圖像處理時(shí)間大概為：0.006秒，預(yù)測(cè)時(shí)間大概為：0.008秒
7、連續(xù)預(yù)測(cè)10000次所用時(shí)間為：23.7168
性能對(duì)比（連續(xù)預(yù)測(cè)10000次 單位：秒）
平臺(tái)
前處理耗時(shí)
模型預(yù)測(cè)耗時(shí)
Edgeboard
0.006
23.7168
CPU(AISTUDIO平臺(tái)雙核8G)
0.000627
16.2464
GPU(AISTUDIO平臺(tái)雙核8G+GPU V100 16GB)
0.000639
15.9030
總結(jié)
優(yōu)點(diǎn)：
1. EdgeBoard內(nèi)置的Paddle-Mobile，可以與Paddle訓(xùn)練出來(lái)的模型進(jìn)行較好的對(duì)接。
2. 預(yù)測(cè)速度上: Edge在預(yù)測(cè)小模型的時(shí)候，能與雙核CPU和GPU在一個(gè)數(shù)量級(jí)，估計(jì)是模型較小，batch size也
為1，gpu，cpu的性能優(yōu)勢(shì)抵不過(guò)通信的開(kāi)銷(xiāo)，后續(xù)將進(jìn)行大模型、高batch size的測(cè)試。
3. 提供的demo也足夠簡(jiǎn)單，修改起來(lái)難度很低。
不足：
1. Paddle-Mobile相關(guān)文檔具有一定門(mén)檻，且較為分散。初次使用的時(shí)候會(huì)走一些彎路出現(xiàn)問(wèn)題的時(shí)候往往是個(gè)
黑盒，不易于定位。在這次進(jìn)行模型訓(xùn)練的嘗試中，出現(xiàn)過(guò)一次op不支持的情況，我們?cè)诠倬W(wǎng)上甚至沒(méi)有找
到支持的op列表，這個(gè)在開(kāi)發(fā)哥們的支持下升級(jí)版本后解決。如果后續(xù)能在穩(wěn)定的固件版本下使用，并有比
較易用的sdk，開(kāi)發(fā)門(mén)檻可能會(huì)進(jìn)一步降低。