隨著大模型推理、視覺(jué)分析和邊緣智能應(yīng)用的增長(zhǎng)，算力需求正從云端向邊緣及端側(cè)延伸。如何把高性能AI算力融入已有的計(jì)算設(shè)施，又如何讓算力下沉到生產(chǎn)線、機(jī)器人內(nèi)部，是整個(gè)產(chǎn)業(yè)都在探索的方向。在昇騰生態(tài)中，神州鯤泰與迅龍軟件正嘗試用一種“入端”的方式給出回答——讓算力像電流一樣流進(jìn)舊服務(wù)器，也流進(jìn)物理世界的軀體。
雙方合作推出的產(chǎn)品有兩款：OrangePi AI Duo算力卡和OrangePi AI Station具身智能盒子，均基于昇騰310P處理器，但指向完全不同的部署形態(tài)。

合作基礎(chǔ)：底座與行走機(jī)構(gòu)的互補(bǔ)
神州鯤泰是華為“鯤鵬+昇騰”雙生態(tài)的核心參與者，擁有昇騰全棧智算底座、品牌渠道和服務(wù)能力。迅龍軟件則在嵌入式硬件設(shè)計(jì)、開(kāi)源軟件開(kāi)發(fā)、ARM架構(gòu)底層調(diào)優(yōu)及端側(cè)設(shè)備量產(chǎn)交付上積累了二十多年經(jīng)驗(yàn)。如果把昇騰310P比作一臺(tái)動(dòng)力充沛的發(fā)動(dòng)機(jī)，那么神州鯤泰打造的是整車的底盤和電氣架構(gòu)，而迅龍軟件設(shè)計(jì)的則是能適應(yīng)數(shù)據(jù)中心“高速路”和工廠車間“碎石路”的輪子和懸掛。正是這種分工，讓昇騰算力既能在標(biāo)準(zhǔn)服務(wù)器中即插即用，也能塞進(jìn)工控機(jī)大小的盒子里執(zhí)行實(shí)時(shí)任務(wù)。

OrangePi AI Duo：存量服務(wù)器的算力注入
AI Duo是一張標(biāo)準(zhǔn)PCIe 4.0 x16加速卡，搭載雙昇騰310P，INT8算力為352 TOPS。內(nèi)存部分采用了LPDDR5，速率5500Mbps，相比同算力級(jí)別的LPDDR4X方案，帶寬提升約30%。在大模型推理的解碼階段，更高的內(nèi)存帶寬有助于降低延遲、提高并發(fā)吞吐量。
從產(chǎn)品形態(tài)看，該卡為單槽位設(shè)計(jì)，采用8pin顯卡供電，可直接插入現(xiàn)有x86服務(wù)器或工作站的空閑PCIe插槽，無(wú)需更換整機(jī)或調(diào)整機(jī)房結(jié)構(gòu)。對(duì)于當(dāng)前算力緊張但仍可繼續(xù)使用的x86服務(wù)器群，這種方式實(shí)現(xiàn)了一種“即插即用”的利舊升級(jí)：一臺(tái)2U服務(wù)器如插滿4張AI Duo，理論算力可擴(kuò)展到1400 TOPS以上。在搜索推薦、內(nèi)容審核、OCR識(shí)別等對(duì)并發(fā)要求較高的場(chǎng)景中，這種擴(kuò)容方式能夠以較小的改動(dòng)成本補(bǔ)充AI推理能力。

OrangePi AI Station：面向物理世界的具身智能盒子
如果說(shuō)OrangePi AI Duo是把算力帶入機(jī)柜，那么OrangePi AI Station則是將算力直接部署到被控對(duì)象的身邊。它搭載單顆昇騰310P，INT8算力176 TOPS，最高可選配96GB內(nèi)存和M.2 NVMe固態(tài)硬盤。除了常規(guī)的HDMI、USB 3.0與千兆以太網(wǎng)口，它還提供40Pin GPIO擴(kuò)展接口。正是這組GPIO，讓盒子可以直接連接繼電器、傳感器和工業(yè)相機(jī)，成為一個(gè)端側(cè)“感知-決策-執(zhí)行”的節(jié)點(diǎn)。
在實(shí)際應(yīng)用中，OrangePi AI Station已被嘗試部署于多個(gè)方向。在具身智能機(jī)器人領(lǐng)域，某新能源汽車企業(yè)將其用于運(yùn)行Pi 0.5等大模型，作為機(jī)器人的主控模塊，處理攝像頭畫(huà)面、自然語(yǔ)言交互以及各類舵機(jī)控制。工業(yè)視覺(jué)檢測(cè)是另一個(gè)落地場(chǎng)景：設(shè)備固定在生產(chǎn)流水線一側(cè)，通過(guò)工業(yè)相機(jī)采集PCB板圖像，運(yùn)行輕量化檢測(cè)模型，并通過(guò)GPIO聯(lián)動(dòng)報(bào)警燈，一旦發(fā)現(xiàn)瑕疵立即觸發(fā)停線，檢測(cè)延遲被壓縮到毫秒級(jí)。此外，一些設(shè)計(jì)師和渲染師將它作為私有AI工作站，在本地運(yùn)行文生圖模型、文生視頻等模型，避免設(shè)計(jì)原稿上傳至云端，同時(shí)省去排隊(duì)等待云GPU的時(shí)間。

協(xié)同價(jià)值：讓算力流到需要的地方
從產(chǎn)業(yè)落地的角度看，這兩種產(chǎn)品代表同一種思路：讓算力按照使用場(chǎng)景的實(shí)際需求流動(dòng)。OrangePi AI Duo幫助用戶利用現(xiàn)有服務(wù)器資產(chǎn)擴(kuò)充AI推理能力，在一些互聯(lián)網(wǎng)企業(yè)的排序召回模型、高校的大模型實(shí)訓(xùn)平臺(tái)上已經(jīng)得到驗(yàn)證。OrangePi AI Station則把算力密度和物理接口結(jié)合在一起，為工業(yè)質(zhì)檢、具身智能、本地渲染等場(chǎng)景提供低時(shí)延、數(shù)據(jù)不離場(chǎng)的方案。
通過(guò)“一卡一盒”的組合，昇騰算力得以從數(shù)據(jù)中心進(jìn)入邊緣現(xiàn)場(chǎng)，從服務(wù)器插槽進(jìn)入機(jī)器人的軀干，完成了從基礎(chǔ)設(shè)施到具身終端的跨越。這種流動(dòng)，讓存量資產(chǎn)重新產(chǎn)生價(jià)值，也為端側(cè)應(yīng)用帶來(lái)了更低的接入門檻。

對(duì)于AI Station的GPIO實(shí)時(shí)控制延時(shí)，以及AI Duo在服務(wù)器密集部署下的散熱和供電設(shè)計(jì)，你怎么看？歡迎各位硬件工程師一起探討方案細(xì)節(jié)。

審核編輯 黃宇