隨著現(xiàn)代辦公和學(xué)習(xí)方式的改變,長(zhǎng)時(shí)間坐在電腦前已成為常態(tài)。然而,不良的坐姿習(xí)慣會(huì)導(dǎo)致各種健康問題,如頸椎病、腰椎病、高低肩等。據(jù)統(tǒng)計(jì),青少年體態(tài)異常率高達(dá)60%以上,其中圓肩占60.5%、頸部前傾占58.1%、高低肩占52.3%。

本項(xiàng)目基于玄鐵K230開發(fā)板,利用AI視覺技術(shù)實(shí)現(xiàn)實(shí)時(shí)坐姿體態(tài)檢測(cè),能夠自動(dòng)識(shí)別5種常見的不良坐姿,并提供智能提醒功能。

目錄

項(xiàng)目背景及功能

效果演示

RT-Thread使用情況概述

硬件設(shè)計(jì)

軟件設(shè)計(jì)

實(shí)現(xiàn)過程

未來展望

1 項(xiàng)目背景及功能

1.1 項(xiàng)目創(chuàng)新點(diǎn)

本項(xiàng)目運(yùn)行在RT-Thread Smart操作系統(tǒng)上，基于YOLOv8-Pose 模型，實(shí)現(xiàn)實(shí)時(shí)人體關(guān)鍵點(diǎn)檢測(cè)。

1.2 核心功能

頭部前傾檢測(cè): 檢測(cè)頭部相對(duì)肩部的前傾角度

高低肩檢測(cè):檢測(cè)兩肩高度差異

駝背檢測(cè):檢測(cè)上半身前傾程度

身體傾斜檢測(cè):檢測(cè)身體左右傾斜角度

圓肩檢測(cè):檢測(cè)肩部前移程度

所有檢測(cè)結(jié)果分為正常、輕度、中度、重度四個(gè)等級(jí),并實(shí)時(shí)顯示在屏幕上。

2 效果演示

本系統(tǒng)能夠?qū)崟r(shí)檢測(cè)人體姿態(tài)并分析坐姿問題。在實(shí)際測(cè)試中:

檢測(cè)幀率:約10-15 FPS (取決于模型和硬件配置)

檢測(cè)延遲:< 200ms

檢測(cè)準(zhǔn)確率:頭部前傾和高低肩檢測(cè)準(zhǔn)確率達(dá)80%以上

穩(wěn)定性:可連續(xù)運(yùn)行1小時(shí)以上無崩潰

系統(tǒng)會(huì)在屏幕上實(shí)時(shí)顯示:

人體骨架(17個(gè)關(guān)鍵點(diǎn)及連線)

檢測(cè)到的體態(tài)問題及嚴(yán)重程度

不同嚴(yán)重程度用不同顏色標(biāo)識(shí)(綠色正常、黃色輕度、橙色中度、紅色重度)

3 RT-Thread使用情況概述

本項(xiàng)目基于RT-Thread Smart操作系統(tǒng)開發(fā),充分利用了RT-Thread的特性:

3.1 操作系統(tǒng)層面

RT-Thread Smart:K230的CanMV固件底層就是基于RT-Thread Smart實(shí)現(xiàn)的

用戶態(tài)應(yīng)用:我們的Python應(yīng)用運(yùn)行在RT-Thread Smart的用戶態(tài)

硬件抽象:使用RT-Thread提供的設(shè)備驅(qū)動(dòng)框架

3.2 使用的 RT-Thread 組件

攝像頭驅(qū)動(dòng):通過RT-Thread的CSI2驅(qū)動(dòng)獲取圖像

顯示驅(qū)動(dòng):通過RT-Thread的LCD/HDMI驅(qū)動(dòng)輸出畫面

GPIO驅(qū)動(dòng):控制蜂鳴器和LED

內(nèi)存管理:RT-Thread的內(nèi)存管理機(jī)制

4 硬件設(shè)計(jì)

4.1 硬件框圖

本系統(tǒng)的硬件架構(gòu)如下:

5 軟件設(shè)計(jì)

5.1 軟件架構(gòu)框圖

本系統(tǒng)采用分層架構(gòu)設(shè)計(jì):

┌─────────────────────────────────────────────────┐│ 應(yīng)用層 (Python) ││ ┌──────────────────────────────────────────┐ ││ │ 主程序: 圖像采集 + AI推理 + 結(jié)果顯示 │ ││ └──────────────────────────────────────────┘ │└───────────────────┬─────────────────────────────┘ │┌───────────────────┴─────────────────────────────┐│ 業(yè)務(wù)邏輯層 (Python) ││ ┌──────────────┐ ┌──────────────────────┐ ││ │關(guān)鍵點(diǎn)驗(yàn)證模塊│ │ 體態(tài)分析模塊 │ ││ │- 可見性判斷 │ │- 角度計(jì)算 │ ││ │- 中點(diǎn)計(jì)算 │ │- 比例計(jì)算 │ ││ │- 檢測(cè)可行性 │ │- 嚴(yán)重程度判斷 │ ││ └──────────────┘ └──────────────────────┘ │└───────────────────┬─────────────────────────────┘ │┌───────────────────┴─────────────────────────────┐│ AI推理層 (nncase_runtime) ││ ┌──────────────────────────────────────────┐ ││ │ YOLOv8-Pose模型 (KPU硬件加速) │ ││ │ - 17個(gè)人體關(guān)鍵點(diǎn)檢測(cè) │ ││ │ - 關(guān)鍵點(diǎn)置信度輸出 │ ││ └──────────────────────────────────────────┘ │└───────────────────┬─────────────────────────────┘ │┌───────────────────┴─────────────────────────────┐│ CanMV框架層 (MicroPython) ││ ┌──────────┐ ┌──────────┐ ┌──────────┐ ││ │PipeLine │ │ AI2D │ │ Media │ ││ │圖像管道 │ │圖像預(yù)處理│ │媒體管理 │ ││ └──────────┘ └──────────┘ └──────────┘ │└───────────────────┬─────────────────────────────┘ │┌───────────────────┴─────────────────────────────┐│ RT-Thread ││ ┌──────────┐ ┌──────────┐ ┌──────────┐ ││ │CSI2驅(qū)動(dòng) │ │顯示驅(qū)動(dòng) │ │GPIO驅(qū)動(dòng) │ ││ └──────────┘ └──────────┘ └──────────┘ │└───────────────────┬─────────────────────────────┘ │┌───────────────────┴─────────────────────────────┐│ K230硬件層 (RISC-V) ││ ┌──────────┐ ┌──────────┐ ┌──────────┐ ││ │ 攝像頭 │ │ KPU/NPU │ │ 顯示 │ ││ └──────────┘ └──────────┘ └──────────┘ │└─────────────────────────────────────────────────┘

5.2 技術(shù)棧說明

操作系統(tǒng):RT-Thread Smart

開發(fā)環(huán)境:CanMV (基于MicroPython)

AI模型:YOLOv8n-Pose (COCO格式,17個(gè)關(guān)鍵點(diǎn))

AI編譯器:nncase (嘉楠科技的AI編譯工具鏈)

推理引擎:nncase_runtime

圖像處理:AI2D (K230的圖像預(yù)處理加速器)

編程語言:Python (MicroPython)

6 實(shí)現(xiàn)過程

6.1 玄鐵K230開發(fā)環(huán)境搭建

本項(xiàng)目使用CanMV開發(fā)環(huán)境,這是K230官方提供的基于MicroPython的開發(fā)環(huán)境。

6.1.1 環(huán)境說明

玄鐵K230支持多種開發(fā)環(huán)境:

CanMV:大核跑RT-Smart + MicroPython,適合快速開發(fā)AI應(yīng)用

RT-Smart Only:純RT-Smart開發(fā),適合底層開發(fā)

Linux:大核跑Linux,適合復(fù)雜應(yīng)用

Linux + RT-Smart:雙核異構(gòu),功能最強(qiáng)大

本項(xiàng)目選擇CanMV環(huán)境。

6.2 人體關(guān)鍵點(diǎn)檢測(cè)實(shí)現(xiàn)

6.2.1 YOLOv8-Pose模型說明

本項(xiàng)目使用YOLOv8n-Pose模型進(jìn)行人體關(guān)鍵點(diǎn)檢測(cè)。該模型基于COCO數(shù)據(jù)集訓(xùn)練,可以檢測(cè)17個(gè)人體關(guān)鍵點(diǎn):

關(guān)鍵點(diǎn)定義(COCO格式):

坐姿場(chǎng)景的挑戰(zhàn):

坐在桌子前時(shí),下半身(髖部、膝蓋、腳踝)通常被桌子遮擋,因此傳統(tǒng)的體態(tài)檢測(cè)算法(依賴髖部關(guān)鍵點(diǎn))無法直接使用。這是本項(xiàng)目需要解決的核心問題。

6.2.2 模型推理代碼

fromlibs.PipeLineimportPipeLine, ScopedTimingfromlibs.AIBaseimportAIBasefromlibs.AI2DimportAi2dimportnncase_runtimeasnnimportulab.numpyasnpclassPersonKeyPointApp(AIBase): def__init__(self, kmodel_path, model_input_size, confidence_threshold=0.2, nms_threshold=0.5, rgb888p_size=[1920,1080], display_size=[1920,1080], debug_mode=0): super().__init__(kmodel_path, model_input_size, rgb888p_size, debug_mode) self.kmodel_path = kmodel_path self.model_input_size = model_input_size self.confidence_threshold = confidence_threshold self.nms_threshold = nms_threshold self.rgb888p_size = [ALIGN_UP(rgb888p_size[0],16), rgb888p_size[1]] self.display_size = [ALIGN_UP(display_size[0],16), display_size[1]] self.debug_mode = debug_mode self.ai2d = Ai2d(debug_mode) self.ai2d.set_ai2d_dtype(nn.ai2d_format.NCHW_FMT, nn.ai2d_format.NCHW_FMT, np.uint8, np.uint8) defconfig_preprocess(self, input_image_size=None): withScopedTiming("set preprocess config",self.debug_mode >0): ai2d_input_size = input_image_sizeifinput_image_sizeelseself.rgb888p_size self.ai2d.resize(nn.interp_method.tf_bilinear, nn.interp_mode.half_pixel) self.ai2d.build([1,3,ai2d_input_size[1],ai2d_input_size[0]], [1,3,self.model_input_size[1],self.model_input_size[0]]) defpostprocess(self, results): withScopedTiming("postprocess",self.debug_mode >0): # 使用aidemo庫(kù)的后處理接口 dets = aidemo.person_kp_postprocess(results, [self.rgb888p_size[1],self.rgb888p_size[0]], self.model_input_size,self.confidence_threshold, self.nms_threshold) returndets

關(guān)鍵點(diǎn)：

使用AI2D進(jìn)行圖像預(yù)處理(resize)

使用KPU進(jìn)行模型推理

使用aidemo庫(kù)進(jìn)行后處理,得到關(guān)鍵點(diǎn)坐標(biāo)和置信度

6.3 關(guān)鍵點(diǎn)驗(yàn)證模塊實(shí)現(xiàn)

由于坐姿場(chǎng)景下部分關(guān)鍵點(diǎn)不可見,我們需要先驗(yàn)證關(guān)鍵點(diǎn)的有效性。

6.3.1 關(guān)鍵點(diǎn)驗(yàn)證類

classKeypointValidator: """關(guān)鍵點(diǎn)驗(yàn)證器,用于判斷關(guān)鍵點(diǎn)可見性和計(jì)算中點(diǎn)""" def__init__(self, confidence_threshold=0.5): self.confidence_threshold = confidence_threshold defis_keypoint_valid(self, keypoint): """判斷單個(gè)關(guān)鍵點(diǎn)是否有效""" ifkeypointisNoneorlen(keypoint) =self.confidence_thresholdandx >0andy >0 defget_midpoint(self, kp1, kp2): """計(jì)算兩個(gè)關(guān)鍵點(diǎn)的中點(diǎn)""" ifnotself.is_keypoint_valid(kp1) ornotself.is_keypoint_valid(kp2): returnNone x = (kp1[0] + kp2[0]) /2 y = (kp1[1] + kp2[1]) /2 conf =min(kp1[2], kp2[2]) return[x, y, conf] defcan_detect_forward_head(self, keypoints): """判斷是否可以檢測(cè)頭部前傾""" # 需要耳朵和肩膀 left_ear = keypoints[3] right_ear = keypoints[4] left_shoulder = keypoints[5] right_shoulder = keypoints[6] ear_valid =self.is_keypoint_valid(left_ear)orself.is_keypoint_valid(right_ear) shoulder_valid =self.is_keypoint_valid(left_shoulder)andself.is_keypoint_valid(right_shoulder) returnear_validandshoulder_valid

設(shè)計(jì)思路：

每個(gè)關(guān)鍵點(diǎn)都有置信度,只有置信度足夠高才認(rèn)為有效

計(jì)算中點(diǎn)時(shí),取兩個(gè)關(guān)鍵點(diǎn)置信度的最小值

針對(duì)每種體態(tài)問題,判斷所需關(guān)鍵點(diǎn)是否都有效

6.4 體態(tài)分析算法實(shí)現(xiàn)

這是本項(xiàng)目的核心部分,我們針對(duì)坐姿場(chǎng)景重新設(shè)計(jì)了檢測(cè)算法。

6.4.1 算法設(shè)計(jì)原理

傳統(tǒng)算法的問題:

傳統(tǒng)駝背檢測(cè)需要肩-髖連線,但坐姿下髖部不可見

傳統(tǒng)身體傾斜檢測(cè)需要肩-髖-膝連線,同樣不可用

我們的解決方案:

頭部前傾: 使用耳朵-肩膀連線與垂直軸的夾角

高低肩: 使用左右肩高度差與肩寬的比例

駝背: 使用鼻子-肩膀的水平偏移與垂直距離的比例(修訂算法)

身體傾斜: 使用鼻子-肩膀中點(diǎn)連線與垂直軸的夾角(修訂算法)

圓肩: 使用肩膀-肘部的前移距離(需要肘部可見)

6.4.2 核心算法代碼

classPostureAnalyzer: """體態(tài)分析器""" def__init__(self, thresholds): self.thresholds = thresholds self.validator = KeypointValidator() defcalculate_angle(self, point1, point2): """計(jì)算兩點(diǎn)連線與垂直軸的夾角(度)""" dx = point2[0] - point1[0] dy = point2[1] - point1[1] angle_rad = math.atan2(abs(dx),abs(dy)) angle_deg = math.degrees(angle_rad) returnangle_deg defdetect_forward_head(self, keypoints): """檢測(cè)頭部前傾""" # 獲取耳朵和肩膀 left_ear = keypoints[3] right_ear = keypoints[4] left_shoulder = keypoints[5] right_shoulder = keypoints[6] # 計(jì)算耳朵和肩膀的中點(diǎn) ear =self.validator.get_midpoint(left_ear, right_ear) shoulder =self.validator.get_midpoint(left_shoulder, right_shoulder) ifearisNoneorshoulderisNone: returnNone,None # 計(jì)算角度 angle =self.calculate_angle(shoulder, ear) # 判斷嚴(yán)重程度 thresholds =self.thresholds['forward_head'] ifangle < thresholds['normal']:? ? ? ? ? ? severity =?'normal'? ? ? ? elif?angle < thresholds['mild']:? ? ? ? ? ? severity =?'mild'? ? ? ? elif?angle < thresholds['moderate']:? ? ? ? ? ? severity =?'moderate'? ? ? ? else:? ? ? ? ? ? severity =?'severe'? ? ? ? return?severity, angle? ? def?detect_high_low_shoulder(self, keypoints):? ? ? ? """檢測(cè)高低肩"""? ? ? ? left_shoulder = keypoints[5]? ? ? ? right_shoulder = keypoints[6]? ? ? ? ifnot?self.validator.is_keypoint_valid(left_shoulder)?or?\? ? ? ? ? ?not?self.validator.is_keypoint_valid(right_shoulder):? ? ? ? ? ? return?None,?None? ? ? ? # 計(jì)算肩寬和高度差? ? ? ? shoulder_width =?abs(left_shoulder[0] - right_shoulder[0])? ? ? ? height_diff =?abs(left_shoulder[1] - right_shoulder[1])? ? ? ? if?shoulder_width ==?0:? ? ? ? ? ? return?None,?None? ? ? ? # 計(jì)算比例? ? ? ? ratio = height_diff / shoulder_width? ? ? ? # 判斷嚴(yán)重程度? ? ? ? thresholds =?self.thresholds['high_low_shoulder']? ? ? ? if?ratio < thresholds['normal']:? ? ? ? ? ? severity =?'normal'? ? ? ? elif?ratio < thresholds['mild']:? ? ? ? ? ? severity =?'mild'? ? ? ? elif?ratio < thresholds['moderate']:? ? ? ? ? ? severity =?'moderate'? ? ? ? else:? ? ? ? ? ? severity =?'severe'? ? ? ? return?severity, ratio? ? def?detect_hunched_back(self, keypoints):? ? ? ? """檢測(cè)駝背(修訂算法)"""? ? ? ? nose = keypoints[0]? ? ? ? left_shoulder = keypoints[5]? ? ? ? right_shoulder = keypoints[6]? ? ? ? shoulder =?self.validator.get_midpoint(left_shoulder, right_shoulder)? ? ? ? ifnot?self.validator.is_keypoint_valid(nose)?or?shoulder?is?None:? ? ? ? ? ? return?None,?None? ? ? ? # 計(jì)算水平偏移和垂直距離? ? ? ? horizontal_offset =?abs(nose[0] - shoulder[0])? ? ? ? vertical_distance =?abs(nose[1] - shoulder[1])? ? ? ? if?vertical_distance ==?0:? ? ? ? ? ? return?None,?None? ? ? ? # 計(jì)算前傾比例? ? ? ? forward_ratio = horizontal_offset / vertical_distance? ? ? ? # 判斷嚴(yán)重程度? ? ? ? thresholds =?self.thresholds['hunched_back']? ? ? ? if?forward_ratio < thresholds['normal']:? ? ? ? ? ? severity =?'normal'? ? ? ? elif?forward_ratio < thresholds['mild']:? ? ? ? ? ? severity =?'mild'? ? ? ? elif?forward_ratio < thresholds['moderate']:? ? ? ? ? ? severity =?'moderate'? ? ? ? else:? ? ? ? ? ? severity =?'severe'? ? ? ? return?severity, forward_ratio

6.5 結(jié)構(gòu)渲染和顯示

6.5.1 繪制骨架

defdraw_skeleton(self, img, keypoints): """繪制人體骨架""" # 定義骨架連接關(guān)系 skeleton = [ [0,1], [0,2], [1,3], [2,4], # 頭部 [5,6], # 肩膀 [5,7], [7,9], # 左臂 [6,8], [8,10], # 右臂 [5,11], [6,12], # 軀干 [11,12], # 髖部 [11,13], [13,15], # 左腿 [12,14], [14,16] # 右腿 ] # 繪制連線 forconnectioninskeleton: kp1 = keypoints[connection[0]] kp2 = keypoints[connection[1]] ifself.validator.is_keypoint_valid(kp1)and\ self.validator.is_keypoint_valid(kp2): x1, y1 =int(kp1[0] * scale_x),int(kp1[1] * scale_y) x2, y2 =int(kp2[0] * scale_x),int(kp2[1] * scale_y) img.draw_line(x1, y1, x2, y2, color=(255,255,0,255), thickness=2) # 繪制關(guān)鍵點(diǎn) forkpinkeypoints: ifself.validator.is_keypoint_valid(kp): x, y =int(kp[0] * scale_x),int(kp[1] * scale_y) img.draw_circle(x, y,5, color=(0,255,0,255), thickness=-1)

6.5.2 顯示檢測(cè)結(jié)果

defdraw_posture_results(self, img, results): """顯示體態(tài)檢測(cè)結(jié)果""" y_offset =30 forproblem, (severity, value)inresults.items(): ifseverityisNone: continue # 根據(jù)嚴(yán)重程度選擇顏色 color =self.color_config[severity] # 格式化顯示文本 text =f"{problem}:{severity}({value:.2f})" # 繪制文本 img.draw_string(10, y_offset, text, color=color, scale=2) y_offset +=30

6.6 完整應(yīng)用集成

6.6.1 主程序流程

defmain(): # 初始化PipeLine pl =PipeLine(rgb888p_size=[1920,1080], display_mode='lcd') pl.create() # 初始化人體關(guān)鍵點(diǎn)檢測(cè) kp_detect =PersonKeyPointApp( kmodel_path='/sdcard/examples/kmodel/yolov8n-pose.kmodel', model_input_size=[320,320], confidence_threshold=0.2, nms_threshold=0.5, rgb888p_size=[1920,1080], display_size=pl.get_display_size() ) kp_detect.config_preprocess() # 初始化體態(tài)分析器 analyzer =PostureAnalyzer(POSTURE_THRESHOLDS) print("系統(tǒng)啟動(dòng)成功,開始檢測(cè)...") try: while True: # 獲取圖像幀 img = pl.get_frame() # 運(yùn)行關(guān)鍵點(diǎn)檢測(cè) keypoints = kp_detect.run(img) if keypoints: # 分析體態(tài) results = analyzer.analyze_all(keypoints) # 繪制結(jié)果 kp_detect.draw_skeleton(pl.osd_img, keypoints) kp_detect.draw_posture_results(pl.osd_img, results) # 顯示畫面 pl.show_image() # 垃圾回收 gc.collect() except Exception as e: print(f"錯(cuò)誤: {e}") finally: kp_detect.deinit() pl.destroy()if __name__ =="__main__": main()

7 未來展望

短期計(jì)劃

優(yōu)化算法:進(jìn)一步提高檢測(cè)準(zhǔn)確率

增加數(shù)據(jù)統(tǒng)計(jì):記錄每日坐姿數(shù)據(jù),生成健康報(bào)告

RISC-V優(yōu)化:使用RVV向量擴(kuò)展優(yōu)化算法性能

模型優(yōu)化:嘗試模型量化和剪枝,提高推理速度

功能擴(kuò)展:支持多人檢測(cè)、遠(yuǎn)程監(jiān)控等功能

倉(cāng)庫(kù)地址：https://github.com/yidianyiko/posture_detection_k230