電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）日前，在火山引擎2025春季FORCE原動(dòng)力大會(huì)上，星宸科技股份有限公司董事副總經(jīng)理陳立敬談到，在人工智能技術(shù)飛速發(fā)展的時(shí)代，多模態(tài)感知與大模型的融合成為推動(dòng)各行業(yè)變革的關(guān)鍵力量。星宸科技與豆包大模型的合作，將這一技術(shù)趨勢(shì)落實(shí)到實(shí)際應(yīng)用場(chǎng)景中，在智能家居、可穿戴設(shè)備以及連鎖店等領(lǐng)域引發(fā)了深刻變革。

智能家居升級(jí)

陳立敬指出：“智能家居2.0需要大模型大腦”。在智能家居領(lǐng)域，多模態(tài)感知與豆包大模型的結(jié)合實(shí)現(xiàn)了從基礎(chǔ)連接控制到智能理解決策的跨越升級(jí)。傳統(tǒng)的智能家居1.0時(shí)代，設(shè)備僅能實(shí)現(xiàn)簡(jiǎn)單的連接與控制功能，而如今智能家居2.0時(shí)代，星宸科技借助多模態(tài)感知技術(shù)，為設(shè)備賦予了“感知”能力。以SSC305DE產(chǎn)品為例，其具備1TOPs + 2*CA32 + CM4的計(jì)算能力，支持多模態(tài)感知且功耗較低，能接入雙攝像頭，搭配豆包大模型，構(gòu)建起全面的智能看護(hù)體系。

在居家跌倒監(jiān)測(cè)場(chǎng)景中，端側(cè)設(shè)備通過(guò)視覺(jué)和語(yǔ)音等多模態(tài)信息初步識(shí)別，將有效幀、有效信息發(fā)送至云端豆包大模型進(jìn)行確認(rèn)。豆包大模型憑借強(qiáng)大的視覺(jué)理解和語(yǔ)音交互能力，不僅提高了事件識(shí)別率，避免誤報(bào)、漏報(bào)，還能在確認(rèn)跌倒后主動(dòng)交互，及時(shí)通知家人和物業(yè)，保障老人安全。

此外，智能家居還接入豆包大模型實(shí)現(xiàn)問(wèn)醫(yī)問(wèn)藥、情感陪伴等功能。用戶(hù)在家中就能通過(guò)設(shè)備獲取專(zhuān)業(yè)醫(yī)療建議，與設(shè)備進(jìn)行自然流暢的情感交流，滿足情感陪伴需求。同時(shí)，通過(guò)在板端搭建RAG應(yīng)用，結(jié)合云端大模型，打造智能管家和私人知識(shí)庫(kù)，實(shí)現(xiàn)對(duì)個(gè)人私有數(shù)據(jù)的高效管理與智能問(wèn)答。

大模型如何改變可穿戴場(chǎng)景

可穿戴設(shè)備領(lǐng)域同樣因多模態(tài)感知與豆包大模型的結(jié)合而煥然一新。星宸科技的SSC309QL 小型化、低功耗產(chǎn)品，擁有15TOPs算力，適用于智能眼鏡、智能胸牌等設(shè)備，為多模態(tài)交互提供了硬件基礎(chǔ)。

智能眼鏡成為個(gè)人豆包智能助理的最佳載體，在多個(gè)場(chǎng)景發(fā)揮重要作用。在學(xué)習(xí)場(chǎng)景中，智能眼鏡通過(guò)多模態(tài)感知獲取學(xué)習(xí)資料、學(xué)生的學(xué)習(xí)狀態(tài)等信息，結(jié)合豆包大模型的知識(shí)儲(chǔ)備，為用戶(hù)提供學(xué)習(xí)輔導(dǎo)和翻譯服務(wù)；在工作場(chǎng)景中，可輔助會(huì)議記錄、商務(wù)溝通和客戶(hù)管理，成為高效的工作助理；在日常生活中，能實(shí)現(xiàn)快速拍照、錄像、直播等功能，還可根據(jù)用戶(hù)定義的感興趣區(qū)域或物體，智能判斷場(chǎng)景并截取精彩瞬間，生成集錦。在運(yùn)動(dòng)和旅游場(chǎng)景中，用戶(hù)無(wú)需動(dòng)手操作手機(jī)，智能眼鏡就能實(shí)時(shí)感知環(huán)境，結(jié)合豆包大模型提供導(dǎo)航、景點(diǎn)介紹等服務(wù)，真正實(shí)現(xiàn)解放雙手，提升用戶(hù)體驗(yàn)。

大模型應(yīng)用之連鎖店提效

在連鎖店領(lǐng)域，多模態(tài)感知與豆包大模型的應(yīng)用助力企業(yè)實(shí)現(xiàn)高效運(yùn)營(yíng)和精準(zhǔn)管理。星宸科技的SSC388G多模態(tài)大算力產(chǎn)品，支持3路sensor輸入，具備強(qiáng)大的多模態(tài)分析能力，配合豆包大模型，為連鎖店帶來(lái)全方位的提效方案。

在安防合規(guī)監(jiān)測(cè)方面，通過(guò)實(shí)時(shí)行為監(jiān)測(cè)與分析，能快速識(shí)別違法違規(guī)及可疑行為，并聯(lián)動(dòng)安防系統(tǒng)發(fā)出警報(bào)，保障店鋪安全；在客流分析優(yōu)化上，利用多模態(tài)數(shù)據(jù)進(jìn)行客流預(yù)測(cè)，根據(jù)員工經(jīng)驗(yàn)和能力合理排班，減少人力浪費(fèi)，同時(shí)通過(guò)追蹤客戶(hù)移動(dòng)路徑，識(shí)別高流量區(qū)域，優(yōu)化貨架布局，提升排隊(duì)及結(jié)算效率；在運(yùn)營(yíng)管理方面，可識(shí)別貨架空置率，自動(dòng)觸發(fā)補(bǔ)貨工單，還能判斷價(jià)簽與促銷(xiāo)是否合規(guī)；在員工效率提升方面，實(shí)現(xiàn)動(dòng)作標(biāo)準(zhǔn)化檢測(cè)及工時(shí)統(tǒng)計(jì)。

以沃爾瑪為例，通過(guò)應(yīng)用相關(guān)技術(shù)，利用AI攝像頭將盜竊損失減少35%，借助多模態(tài)分析根據(jù)攝像頭數(shù)據(jù)生成決策建議，利用熱力圖調(diào)整陳列，使高價(jià)值區(qū)域轉(zhuǎn)化率提升18%；其他便利店也通過(guò)視覺(jué)補(bǔ)貨系統(tǒng)降低缺貨率27%，充分展現(xiàn)了該技術(shù)在連鎖店運(yùn)營(yíng)中的巨大價(jià)值。

寫(xiě)在最后

多模態(tài)感知與豆包大模型的結(jié)合，為智能家居、可穿戴設(shè)備和連鎖店等行業(yè)帶來(lái)了顯著的升級(jí)與變革。隨著技術(shù)的不斷發(fā)展和完善，這一技術(shù)組合有望在更多領(lǐng)域得到應(yīng)用，持續(xù)推動(dòng)各行業(yè)向智能化、高效化方向邁進(jìn)，為人們的生活和生產(chǎn)方式帶來(lái)更大的改變。