1. rknn-toolkit-lite2介紹

RKNN-Toolkit-Lite2 是瑞芯微（Rockchip）專為旗下RK系列芯片（如RV1126B、RK3576、RK3588等）打造的輕量級(jí) AI 模型部署工具包，聚焦邊緣 / 嵌入式設(shè)備的模型推理場(chǎng)景。它無需復(fù)雜的環(huán)境依賴，占用系統(tǒng)資源極少，核心功能是加載并運(yùn)行經(jīng) RKNN 工具鏈轉(zhuǎn)換后的AI模型，支持TensorFlow、PyTorch等主流框架導(dǎo)出模型的適配。該工具包提供C/C++、Python雙語言API，接口簡(jiǎn)潔易用，還針對(duì)RK芯片的NPU硬件加速做了深度優(yōu)化，能顯著提升模型推理效率。適用于智能安防、物聯(lián)網(wǎng)、消費(fèi)電子等邊緣AI場(chǎng)景，幫助開發(fā)者快速實(shí)現(xiàn)模型的端側(cè)部署，大幅降低嵌入式AI開發(fā)門檻。

rknn-toolkit-lite2當(dāng)前已經(jīng)在EASY-EAI-Nano-TB完成適配，用戶可以用它進(jìn)行深度學(xué)習(xí)算法的純python開發(fā)。而且同時(shí)支持已經(jīng)進(jìn)行了預(yù)編譯的模型，短短幾行代碼即可完成算法的推理，大幅降低開發(fā)成本。同時(shí)很多不熟悉C/C++的算法開發(fā)人員有效降低開發(fā)門檻。本地文檔是根據(jù)已經(jīng)完成rknn模型轉(zhuǎn)換的模型進(jìn)行板卡上的推理，關(guān)于rknn模型轉(zhuǎn)換請(qǐng)閱讀請(qǐng)閱讀《在EASY EAI Nano運(yùn)行自定義的AI算法》。

2. 環(huán)境搭建

2.1 安裝git工具

sudo apt update && sudo apt install git

2.2 安裝miniforge3工具

為防止系統(tǒng)對(duì)多個(gè)不同版本的 Python 環(huán)境的需求，建議使用 miniforge3 管理 Python 環(huán)境。 檢查是否安裝miniforge3和 conda 版本信息，若已安裝則可省略此小節(jié)步驟。

下載 miniforge3 安裝包：

cd /userdata wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-aarch64.sh

若安裝速度慢，可以進(jìn)行網(wǎng)盤下載：通過網(wǎng)盤分享的文件：Miniforge3

安裝miniforge3：

chmod 777 Miniforge3-Linux-aarch64.sh bash Miniforge3-Linux-aarch64.sh

2.3 創(chuàng)建Conda環(huán)境

進(jìn)入Conda base環(huán)境：

source ~/miniforge3/bin/activate

創(chuàng)建一個(gè)Python3.8版本（建議版本）名為RKNN-Toolkit-lite2的Conda環(huán)境：

conda create -n RKNN-Toolkit-lite2 python=3.8

進(jìn)入 RKNN-Toolkit Conda 環(huán)境：

conda activate RKNN-Toolkit-lite2

退出Conda環(huán)境：

conda deactivate

刪除Conda環(huán)境：

conda remove -n RKNN-Toolkit-lite2 --all

2.4 安裝RKNN-Toolkit-Lite2和Opencv庫

網(wǎng)盤下載：rknn_toolkit_lite2-2.3.2-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

pip install rknn_toolkit_lite2-2.3.2-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

pip install opencv-python

3. 在板卡測(cè)試demo

下載百度網(wǎng)盤rknn-toolkit-lite2“測(cè)試程序inference_with_lite2.tar.bz2”，把文件傳到EASY-EAI-Nano-TB板卡目錄上。

執(zhí)行以下指令進(jìn)行解壓:

tar -xvf inference_with_lite2.tar.bz2

執(zhí)行以下指令切換目錄并執(zhí)行測(cè)試程序:

cd /userdata/inference_with_lite/ python test.py

結(jié)果如下所示:

4. rknn-toolkit-lite2流程說明

4.1 使用流程圖

RKNN Tookit Lite2使用流程如下:

4.2 例程

第三小節(jié)的例程如下所示:

# -*- coding: utf-8 -*- import cv2 import numpy as np from rknnlite.api import RKNNLite # ==================== 配置項(xiàng)（根據(jù)你的實(shí)際情況修改） ==================== RKNN_MODEL_PATH = "10class_ResNet50_rv1126b.rknn" # 你的RKNN模型路徑 TEST_IMAGE_PATH = "./test-1.jpg" # 測(cè)試圖片路徑 INPUT_SHAPE = (224, 224) # 模型輸入尺寸（必須和轉(zhuǎn)換模型時(shí)一致） INPUT_CHANNELS = 3 # 輸入通道數(shù) CLASSES = ("SUV", "bus", "family sedan", "fire engine", "heavy truck", "jeep", "minibus", "racing car", "taxi", "truck") # ==================== 核心函數(shù) ==================== def preprocess_image(image_path, input_shape): """ 圖像預(yù)處理：讀取→轉(zhuǎn)RGB→縮放→擴(kuò)展維度→轉(zhuǎn)NCHW→類型轉(zhuǎn)換 返回4維NCHW格式的輸入張量 """ # 1. 讀取圖像 img = cv2.imread(image_path) if img is None: raise ValueError(f"無法讀取圖片：{image_path}，請(qǐng)檢查路徑是否正確！") print(f"原始圖像shape: {img.shape}") # 打印原始維度（H,W,C） # 2. BGR轉(zhuǎn)RGB（OpenCV默認(rèn)BGR，模型訓(xùn)練一般用RGB） img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) print(f"RGB轉(zhuǎn)換后shape: {img_rgb.shape}") # 3. 縮放到模型輸入尺寸 img_resized = cv2.resize(img_rgb, input_shape) print(f"縮放后shape: {img_resized.shape}") # (224,224,3) # 4. 擴(kuò)展為4維（關(guān)鍵！增加batch維度，N=1） img_4d_nhwc = np.expand_dims(img_resized, axis=0) print(f"擴(kuò)展batch維度后shape (NHWC): {img_4d_nhwc.shape}") # (1,224,224,3) # 5. 轉(zhuǎn)換為NCHW格式（模型日志顯示framework layout: NCHW） img_4d_nchw = np.transpose(img_4d_nhwc, (0, 3, 1, 2)) print(f"轉(zhuǎn)換為NCHW后shape: {img_4d_nchw.shape}") # (1,3,224,224) # 6. 類型轉(zhuǎn)換（RKNN Lite2推薦float32或uint8，根據(jù)模型量化類型調(diào)整） img_input = img_4d_nchw.astype(np.float32) print(f"最終輸入shape: {img_input.shape}, 類型: {img_input.dtype}") return img_input def softmax(x): """softmax歸一化，將輸出轉(zhuǎn)為概率""" x = x - np.max(x) # 防止數(shù)值溢出 return np.exp(x) / np.sum(np.exp(x)) def predict(rknn_lite, input_tensor): """模型推理，顯式指定輸入格式""" try: # 顯式指定data_format為NCHW（關(guān)鍵！告訴RKNN Runtime輸入格式） outputs = rknn_lite.inference( inputs=[input_tensor], data_format='nchw' # 強(qiáng)制指定輸入格式，避免自動(dòng)識(shí)別錯(cuò)誤 ) return outputs except Exception as e: print(f"推理失?。簕str(e)}") return None # ==================== 主程序 ==================== if __name__ == "__main__": # 1. 初始化RKNN Lite rknn_lite = RKNNLite() print("--> 加載RKNN模型") ret = rknn_lite.load_rknn(RKNN_MODEL_PATH) if ret != 0: print(f"加載模型失敗，錯(cuò)誤碼：{ret}") exit(ret) print("模型加載完成") # 2. 初始化運(yùn)行時(shí)環(huán)境（核心修改：移除target參數(shù)，自動(dòng)識(shí)別硬件） print("--> 初始化運(yùn)行時(shí)") ret = rknn_lite.init_runtime() # 去掉target，讓系統(tǒng)自動(dòng)識(shí)別RV1126B if ret != 0: print(f"運(yùn)行時(shí)初始化失敗，錯(cuò)誤碼：{ret}") exit(ret) print("運(yùn)行時(shí)初始化完成") # 3. 圖像預(yù)處理（強(qiáng)制生成4維輸入） print("--> 圖像預(yù)處理") try: input_tensor = preprocess_image(TEST_IMAGE_PATH, INPUT_SHAPE) except ValueError as e: print(e) exit(1) # 4. 模型推理 print("--> 執(zhí)行推理") outputs = predict(rknn_lite, input_tensor) if outputs is None or len(outputs) == 0: print("推理無輸出！") rknn_lite.release() exit(1) # 5. 解析結(jié)果 print("\n--> 推理結(jié)果解析") output = outputs[0][0] # 取第一個(gè)輸出的第一個(gè)batch prob = softmax(output) max_idx = np.argmax(prob) print(f"預(yù)測(cè)類別：{CLASSES[max_idx]}") print(f"置信度：{prob[max_idx]:.4f}") # 6. 釋放資源 rknn_lite.release() print("\n所有操作完成！")

5. API詳細(xì)說明

5.1 RKNNLite2初始化及對(duì)象釋放

在使用RKNN Toolkit Lite2時(shí)，都需要先調(diào)用RKNNLite()方法初始化一個(gè)RKNNLite對(duì)象，并在用完后調(diào)用該對(duì)象的release()方法將資源釋放掉。

初始化RKNNLite對(duì)象時(shí)，可以設(shè)置verbose和verbose_file參數(shù)，以打印詳細(xì)的日志信息。其中verbose參數(shù)指定是否要在屏幕上打印詳細(xì)日志信息；如果設(shè)置了verbose_file參數(shù)，且verbose參數(shù)值為True，日志信息還將寫到這個(gè)參數(shù)指定的文件中。

舉例如下：

# 將詳細(xì)的日志信息輸出到屏幕，并寫到inference.log文件中 rknn_lite = RKNNLite(verbose=True, verbose_file='./inference.log') # 只在屏幕打印詳細(xì)的日志信息 rknn_lite = RKNNLite(verbose=True) … rknn_lite.release()

5.2 加載RKNN模型

舉例如下：

# 從當(dāng)前目錄加載 ResNet50模型 ret = rknn_lite.load_rknn('10class_ResNet50_pre.rknn')

5.3 初始化運(yùn)行時(shí)環(huán)境

在模型推理之前，必須先初始化運(yùn)行時(shí)環(huán)境，確定模型在哪一個(gè)芯片平臺(tái)上運(yùn)行。

舉例如下:

# init runtime environment print('--> Init runtime environment') ret = rknn_lite.init_runtime(target=None) if ret != 0: print('Init runtime environment failed') exit(ret) print('done')

5.4 模型推理

舉例如下:

以分類模型為例，如 resnet50，代碼如下（完整代碼參考第三小節(jié))：

# Inference print('--> Running model') outputs = rknn_lite.inference(inputs=[resize_img]) print("outputs[0]:", outputs[0]) print("outputs[0].shape:", outputs[0].shape) show_outputs(softmax(np.array(outputs[0][0])))

5.5 查詢 SDK 版本

舉例說明:

# 獲取 SDK 版本信息 …… sdk_version = rknn_lite.get_sdk_version() ……

返回的 SDK 信息如下：