要點(diǎn)

?終端側(cè)生成式AI解決方案將查詢和推理轉(zhuǎn)移到PC和手機(jī)等邊緣終端，讓開(kāi)發(fā)者和云服務(wù)提供商能夠打造更加經(jīng)濟(jì)可靠，且隱私性更高的生成式AI。

?高通和微軟確認(rèn)達(dá)成合作關(guān)系，將面向消費(fèi)級(jí)和企業(yè)級(jí)終端、以及工業(yè)設(shè)備，規(guī)?；瘮U(kuò)展AI能力，為用戶帶來(lái)行業(yè)領(lǐng)先的AI體驗(yàn)。

在Microsoft Build 2023開(kāi)發(fā)者大會(huì)期間，高通技術(shù)公司展示了公司最新的終端側(cè)AI創(chuàng)新，包括在驍龍計(jì)算平臺(tái)上運(yùn)行生成式AI，以及開(kāi)發(fā)者在采用驍龍平臺(tái)的Windows 11 PC上創(chuàng)建應(yīng)用的新路徑。

在搭載驍龍計(jì)算平臺(tái)的Windows筆記本上運(yùn)行Stable Diffusion

高通技術(shù)公司產(chǎn)品管理高級(jí)副總裁Ziad Asghar表示：

為了讓生成式AI真正為更多人所接受和使用，許多推理工作需要在邊緣終端上處理。我們擁有行業(yè)領(lǐng)先的AI硬件和軟件，可以賦能開(kāi)發(fā)者充分利用我們強(qiáng)大的AI能力，在搭載驍龍平臺(tái)的筆記本電腦、手機(jī)和其他終端上打造令人驚艷的全新用戶體驗(yàn)。

AI的未來(lái)既需要終端側(cè)AI，也需要云端AI。在終端側(cè)運(yùn)行AI應(yīng)用可提升成本效益、增強(qiáng)隱私性、個(gè)性化并降低時(shí)延。與僅在CPU或GPU上進(jìn)行AI工作負(fù)載處理比較，驍龍平臺(tái)集成專用的高通AI引擎，處理AI工作負(fù)載可以更加高效，讓小巧輕薄的設(shè)備也能支持終端側(cè)AI。

在Microsoft Build期間，高通技術(shù)公司將帶來(lái)技術(shù)演示，并帶來(lái)能夠支持在下一代Windows 11 PC上開(kāi)發(fā)生成式AI的工具。Stable Diffusion作為一款文本生成圖像的生成式AI模型，參數(shù)超過(guò)10億，目前已經(jīng)能夠完全在終端側(cè)運(yùn)行。高通技術(shù)公司表示，未來(lái)幾個(gè)月內(nèi)，包括大語(yǔ)言模型(LLM)在內(nèi)的參數(shù)高達(dá)100億的模型將有望在終端側(cè)運(yùn)行。為了增強(qiáng)高通AI軟件棧并幫助開(kāi)發(fā)者打造下一代終端側(cè)AI體驗(yàn)，高通AI引擎Direct SDK將在Microsoft Build上首次面向公眾推出。借助ONNX Runtime和高通AI軟件棧，如今用戶在使用5G版Surface Pro 9和聯(lián)想ThinkPad x13s的時(shí)候就可以在其搭載的第三代驍龍8cx平臺(tái)上的AI引擎運(yùn)行AI工作負(fù)載。

微軟Windows芯片和系統(tǒng)集成公司副總裁Pavan Davuluri表示：

為了在廣泛的終端和應(yīng)用領(lǐng)域擴(kuò)展AI，云端和終端側(cè)處理缺一不可。通過(guò)將微軟在云端AI上的領(lǐng)先優(yōu)勢(shì)以及Windows平臺(tái)的能力與高通技術(shù)公司的終端側(cè)AI專長(zhǎng)相結(jié)合，我們將加速由生成式AI體驗(yàn)所帶來(lái)的發(fā)展機(jī)遇。

終端側(cè)AI加速的重要性——超級(jí)分辨率和圖片增強(qiáng)技術(shù) 高通技術(shù)公司還將在大會(huì)期間展示為驍龍平臺(tái)原生編譯熱門(mén)應(yīng)用可帶來(lái)的顯著性能提升，并上線全新的開(kāi)發(fā)者門(mén)戶網(wǎng)站，便于從統(tǒng)一的入口集中獲取驍龍本開(kāi)發(fā)所需的關(guān)鍵工具、資源和支持。

審核編輯：湯梓紅