前言

SAM是Meta提出的一個分割一切的提示型模型，其在1100萬張圖像上訓練了超過10億個掩碼，實現(xiàn)了強大的零樣本泛化，突破了分割界限。本例程對SAM官方開源倉庫的模型和算法進行移植，使之能在基于BM1684X芯片的嵌入式設備上進行高效推理測試。

一、特性

• ? 支持BM1684X平臺全系列部署方案（x86 PCIe、SoC、riscv PCIe）
• ? 圖像壓縮(embedding)部分支持FP16 1batch(BM1684X)模型編譯和推理
• ? 圖像推理(mask_decoder)部分支持FP32 1batch、FP16 1batch(BM1684X)模型編譯和推理
• ? 支持基于OpenCV的Python推理
• ? 支持單點和box輸入的模型推理，并輸出最高置信度mask或置信度前三的mask
• ? 支持圖片測試
• ? 支持無需點框輸入的自動圖掩碼生成

特別說明：
本例程已成功應用于ShiMetaPi基于BM1684X打造的算力盒子，實現(xiàn)了圖像壓縮（embedding）和圖像推理（mask_decoder）兩個bmodel的高效協(xié)同運行。圖像推理部分最后一層resize未編入bmodel模型，這種設計在ShiMetaPi算力盒子的實際部署中展現(xiàn)了良好的靈活性和性能平衡，為邊緣端分割任務提供了穩(wěn)定可靠的解決方案。

二、工程目錄

工程文件筆者對demo改動較多，建議直接拷貝筆者文件到/data目錄下。

SAM

├─datasets##weby以及python案例的圖片保存

│ dog.jpg

│ groceries.jpg

│ truck.jpg

│

├─docs #

#幫助文檔

│ │ boxShare_PC_Wifi.md

│ │ sam.md

│

││ └─image #

#文檔中顯示的圖片

│ eth.png

│ ipv4.png

│ ping.png

│ regedit.png

│ result_0.jpg

│ result_auto.jpg

│ result_box_0.jpg

│ result_box_1.jpg

│ result_box_2.jpg

│ t2.png

│ t3.png

│ terminal.png

│ ui.png

│ uib.png

│ uip.png

│ wlan.png

│

├─models #

#模型文件

│ └─BM1684X #

#1684x的模型權重文件

│ ├─decode_bmodel

│ │ SAM-ViT-B_auto_multi_decoder_fp32_1b.bmodel

│ │ SAM-ViT-B_decoder_multi_mask_fp16_1b.bmodel

│ │ SAM-ViT-B_decoder_multi_mask_fp32_1b.bmodel

│ │ SAM-ViT-B_decoder_single_mask_fp16_1b.bmodel

│ │ SAM-ViT-B_decoder_single_mask_fp32_1b.bmodel

│ │

│ └─embedding_bmodel│

SAM-ViT-B_embedding_fp16_1b.bmodel

│

├─python #

#python腳本

│ amg.py

│ automatic_mask_generator.py

│ backend.py

│ predictor.py

│ sam_encoder.py

│ sam_model.py

│ sam_opencv.py

│ transforms.py

│└─web_ui web例程文件

│ index.html

│ ├─components

│ drawBox.png

│ firstPage.png

│ frontPage.png

│ singlePoint.png

│

├─css

│ styles.css

│

├─images

│ dog.jpg

│ groceries.jpg

│ truck.jpg

│

└─scripts

main.js

二、運行步驟

檢查網(wǎng)絡環(huán)境：因為后面的交互網(wǎng)頁用到了固定IP，所以這里使用開發(fā)板通過網(wǎng)線共享電腦網(wǎng)絡的方式進行，詳細操作可以參考聯(lián)網(wǎng)文檔（注1）。

1、環(huán)境準備

修改.bashrc文件，將sophon的python環(huán)境引入。

sudovim ~/.bashrc

在文件末尾加上下面字段：

exportPYTHONPATH=$PYTHONPATH:/opt/sophon/libsophon-current/lib:/opt/sophon/sophon-opencv-latest/opencv-python/

:wq保存退出后重新加載終端。

source~/.bashrc

可echo $PYTHONPATH，檢查是否是對應字段。

此外，運行環(huán)境還需要以下python庫：

pip3install torch

torchvision安裝過慢，可指定清華源安裝

pip3 install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

pip3 install matplotlib

pip3 install flask flask-cors## 運行web交互案例所需，可選擇性安裝

安裝完畢可pip show 包名進行檢查。

2、python例程測試

2.1 參數(shù)說明

python例程主要運行sam_opencv.py文件，參數(shù)說明如下：

usage: sam_opencv.py [--input_image INPUT_PATH] [--input_point INPOINT_POINT]

[--embedding_bmodel EMBEDDING_BMODEL] [--bmodel BMODEL]

[--auto bool][--dev_id DEV_ID]

--input_image: 測試圖片路徑，需輸入圖片路徑；

--input_point: 輸入點的坐標，輸入格式為x,y；或者輸入框坐標，格式為x1,y1,x2,y2

--embedding_bmodel 用于圖像壓縮(embedding)的bmodel路徑；

--decode_bmodel: 用于推理(mask_decode)的bmodel路徑；

--dev_id: 用于推理的tpu設備id；

--auto: 是否啟用自動分割，為bool，默認為0不開啟，1為開啟；'''以下為automatic masks generator的可調(diào)參數(shù)，可控制采樣點的密度以及去除低質(zhì)量或重復mask的閾值'''

--points_per_side: 沿圖像一側采樣的點數(shù)。總點數(shù)為points_per_side2^2。默認值為32；

--points_per_batch: 設置模型同時檢測的點數(shù)。數(shù)字越大可能速度越快，但會使用更多GPU內(nèi)存。默認值為64；

--pred_iou_thresh: [0,1]中的過濾閾值，模型的預測mask質(zhì)量。默認值為0.88；

--stability_score_thresh: [0,1] 中的過濾閾值（截止值變化時掩模的穩(wěn)定性）用于對模型的mask預測進行二值化。默認值為0.95；

--stability_score_offset: 計算穩(wěn)定性分數(shù)時，偏移截止值的量。默認值為1.0；

--box_nms_thresh: 用于過濾重復mask的非極大值抑制框IoU截止。默認值為0.7；

--crop_nms_thresh: 用于非極大值抑制的框IoU截止，以過濾不同對象之間的重復mask。默認值為0.7；

--crop_overlap_ratio: 設置物體重疊的程度。在第一個裁剪層中，裁剪將重疊圖像長度的這一部分。物體較多的后幾層會縮小這種重疊。默認值為512 / 1500；

--crop_n_points_downscale_factor: 在層n中采樣的每側的點數(shù)按比例縮小"crop_n_points_downscale_factorn"^n。默認值為1；

--min_mask_region_area: 如果>0，將應用后處理來移除面積小于"min_mask_region_area"的mask來中斷開連接的區(qū)域和孔。需要opencv。默認為0；

--output_mode: mask輸出方式。可以是binary_mask、uncompressed_rle或coco_rle ，coco_rle需要pycocotools。對于大分辨率，binary_mask可能會消耗大量內(nèi)存。默認為'binary_mask'；

2.2 測試圖片

2.2.1 點輸入測試

cd/data/SAMpython3 python/sam_opencv.py --input_image datasets/truck.jpg --input_point 700,375 --embedding_bmodel models/BM1684X/embedding_bmodel/SAM-ViT-B_embedding_fp16_1b.bmodel --decode_bmodel models/BM1684X/decode_bmodel/SAM-ViT-B_decoder_single_mask_fp16_1b.bmodel --dev_id 0

結果如下：

終端：

圖片：圖片位于SAM目錄下的results/中

2.2.2 box輸入

python3python/sam_opencv.py --input_image datasets/truck.jpg --input_point100,300,1700,800--embedding_bmodel models/BM1684X/embedding_bmodel/SAM-ViT-B_embedding_fp16_1b.bmodel --decode_bmodel models/BM1684X/decode_bmodel/SAM-ViT-B_decoder_multi_mask_fp16_1b.bmodel --dev_id0

效果以及位置與point中類似

2.2.3 自動分割

若是要使用無需點和框輸入的全自動掩碼生成則需要設置輸入?yún)?shù)auto為1，并設置--bmodel為auto的bmodel，操作如下：

python3 python/sam_opencv.py--input_image datasets/dog.jpg--embedding_bmodel models/BM1684X/embedding_bmodel/SAM-ViT-B_embedding_fp16_1b.bmodel--decode_bmodel models/BM1684X/decode_bmodel/SAM-ViT-B_auto_multi_decoder_fp32_1b.bmodel--dev_id0--auto1--pred_iou_thresh0.86

運行結束后，會將結果圖保存在results/下，同時會打印推理時間等信息。

3. web例程

用于交互的圖片文件存放于SAM/web_ui/images目錄下，程序會自動讀取目錄下所有*.jpg的所有圖片，并在前端頁面下拉框中顯示圖片名。

3.1 啟動后端程序

后端程序位于SAM/python/中，腳本名字叫 backend.py。此web_ui的python例程不需要編譯，可以直接運行。

3.1.1 參數(shù)說明

usage: backend.py [--embedding_bmodel EMBEDDING_BMODEL] [

--bmodel BMODEL] [--dev_id DEV_ID]--embedding_bmodel 用于圖像壓縮(embedding)的bmodel路徑；

--bmodel: 用于推理(mask_decode)的bmodel路徑；

--dev_id: 用于推理的tpu設備id；

3.1.2 運行示例

cd/data/SAMpython3 python/backend.py --embedding_bmodel models/BM1684X/embedding_bmodel/SAM-ViT-B_embedding_fp16_1b.bmodel --decode_bmodel models/BM1684X/decode_bmodel/SAM-ViT-B_decoder_single_mask_fp16_1b.bmodel --dev_id 0

出現(xiàn)下面內(nèi)容，說明后端已經(jīng)啟動

3.2 啟動前端服務

前端程序在/data/SAM/web_ui 里面，可以通過 python 啟動。

保留后端session窗口，新開一個session窗口用于前端：

cd/data/SAM/web_ui/

python3 -m http.server 8080

打開PC端瀏覽器界面，在網(wǎng)址處輸入192.168.49.32:8080，進入交互界面，點擊選擇要加載的圖像...的下拉框，即可選擇預存圖像。選擇Single Point進入點擊模式，Draw BOX進入框選模式。

3.2.1 點擊模式

點擊模式待圖片加載成功，點擊感興趣區(qū)域即可，等待1-2S，頁面繪制掩碼結果。

3.2.2 框選模式

點擊模式待圖片加載成功，點擊鼠標拖動框選感興趣區(qū)域即可，等待1-2S，頁面繪制掩碼結果。

PS:可在原來終端中檢測后端和前端的運行狀態(tài)，前端狀態(tài)還可在瀏覽器開發(fā)者工具中檢測。