HBM高帶寬內(nèi)存是什么

高帶寬存儲(chǔ)器（High Bandwidth Memory，HBM）是超微半導(dǎo)體和SK Hynix發(fā)起的一種基于3D堆棧工藝的高性能DRAM，適用于高存儲(chǔ)器帶寬需求的應(yīng)用場(chǎng)合，像是圖形處理器、網(wǎng)絡(luò)交換及轉(zhuǎn)發(fā)設(shè)備（如路由器、交換器）等。首個(gè)使用HBM的設(shè)備是AMD Radeon Fury系列顯示核心。2013年10月HBM成為了JEDEC通過的工業(yè)標(biāo)準(zhǔn)，第二代HBM —— HBM2，也于2016年1月成為工業(yè)標(biāo)準(zhǔn)，NVIDIA在該年發(fā)表的新款旗艦型Tesla運(yùn)算加速卡 —— Tesla P100、AMD的Radeon RX Vega系列、Intel的Knight Landing也采用了HBM2。

存儲(chǔ)器是存儲(chǔ)指令和數(shù)據(jù)的計(jì)算機(jī)部件。有多種類型。中央處理器從存儲(chǔ)器中取出指令，按指令的地址從存儲(chǔ)器中讀出數(shù)據(jù)，執(zhí)行指令的操作。存儲(chǔ)容量和存儲(chǔ)器讀寫數(shù)據(jù)周期是存儲(chǔ)器的兩個(gè)基本技術(shù)的指標(biāo)。

高帶寬存儲(chǔ)器是一種CPU/GPU 內(nèi)存芯片（即 “RAM”），其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。HBM 堆棧沒有以物理方式與 CPU 或 GPU 集成，而是通過中介層緊湊而快速地連接，HBM 具備的特性幾乎和芯片集成的 RAM一樣，因此，具有更高速，更高帶寬。

高帶寬存儲(chǔ)器發(fā)展

第一，早期，AI處理器架構(gòu)的探討源于學(xué)術(shù)界的半導(dǎo)體和體系架構(gòu)領(lǐng)域，此時(shí)模型層數(shù)較少，計(jì)算規(guī)模較小，算力較低。

第二，模型逐漸加深，對(duì)算力需求相應(yīng)增加，導(dǎo)致了帶寬瓶頸，即IO問題，此時(shí)可通過增大片內(nèi)緩存、優(yōu)化調(diào)度模型來增加數(shù)據(jù)復(fù)用率等方式解決

第三，云端AI處理需求多用戶、高吞吐、低延遲、高密度部署。計(jì)算單元?jiǎng)≡鍪笽O瓶頸愈加嚴(yán)重，要解決需要付出較高代價(jià)（如增加DDR接口通道數(shù)量、片內(nèi)緩存容量、多芯片互聯(lián)）

此時(shí)，片上HBM（High Bandwidth Memory，高帶寬存儲(chǔ)器）的出現(xiàn)使AI/深度學(xué)習(xí)完全放到片上成為可能，集成度提升的同時(shí)，使帶寬不再受制于芯片引腳的互聯(lián)數(shù)量，從而在一定程度上解決了IO瓶頸。