在遲遲不能走出困境的半導體存儲器行業，新一代DRAM技術正備受關注。那就是通過層疊具有代表性的存儲器的DRAM芯片來實現高速大容量數據處理的“HBM（高帶寬存儲器）”。隨著人工智能（AI）的普及，需求出現猛增。作為擺脫存儲器不景氣的“救世主”，業界對HBM的期待正在升溫。

HBM是韓國SK海力士于2013年開發的新型存儲結構。這是一種通過層疊多個DRAM芯片來提高數據處理速度的技術。目前受到關注的AI需要處理大容量數據，而HBM作為最用于AI的臨時存儲器已開始被采用。

用于長期保存數據的NAND型閃存的層疊技術是在電路形成工序的“前工序”中層疊存儲元件。而HBM是在作為組裝工序的“后工序”中層疊DRAM芯片，利用電子電路將多個半導體芯片連接起來。

據稱，通過這種方法，能夠以三維結構在半導體封裝內布滿電子電路，使數據處理速度提高到普通DRAM的10倍以上。SK海力士的第5代產品“HBM3e”（預定2024年啟動量產）的數據處理速度可達到每秒1.15TB （太字節）。


HBM3e技術即將實現量產

近日，NVIDIA又發布了全新的HGX H200加速器，可處理AIGC、HPC工作負載的海量數據。

NVIDIA H200的一大特點就是首發新一代HBM3e高帶寬內存(疑似來自SK海力士)，單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽了一點點)，同時帶寬多達4.8TB/s。對比H100，容量增加了76％，帶寬增加了43％，而對比上代A100，更是容量幾乎翻番，帶寬增加2.4倍。

得益于NVLink、NVSwitch高速互連技術，H200還可以四路、八路并聯，因此單系統的HBM3e內存容量能做到最多1128GB，也就是1.1TB。只是相比于AMD Instinct MI300X還差點意思，后者搭載了192GB HBM3，帶寬高達5.2TB/s。

性能方面，H200再一次實現了飛躍，700億參數的Llama2大語言模型推理性能比H100提高了多達90％，1750億參數的GTP-3模型推理性能也提高了60％，而對比前代A100 HPC模擬性能直接翻番。

八路H200系統下，FP8深度學習計算性能可以超過32PFlops，也就是每秒3.2億億次浮點計算，堪比一臺大型超級計算機。


GPU推動HBM技術擴容和加速

英偉達的這次創新推出，標志著HBM技術在GPU領域的應用取得了重要的突破。全球HBM市場在近年來一直處于快速增長的狀態，而這次英偉達推出的GPU，將進一步推動HBM市場的擴容。

在市場上，預計今年HBM的出貨量將達到50萬顆，而在未來，這一數字將逐年遞增。據預測，到2030年，HBM的年出貨量將達到1億顆。這表明，隨著技術的不斷進步和應用領域的不斷拓展，HBM技術在未來的發展前景十分廣闊。

然而，盡管市場對HBM的需求在不斷增長，但目前三星和美光最新的HBM產品還處于籌備階段，預計要到24年第四季度才能開始批量生產。這意味著，在24年，HBM3e的供給將面臨嚴重的緊缺情況。這種短缺可能會進一步推動HBM價格的上漲，從而對整個行業產生深遠的影響。

同時，隨著服務器新世代CPU的推出和人工智能需求的不斷增加，市場對HBM高性能產品及高密度模組的需求也在不斷提升。這為HBM技術的發展提供了更多的機會和挑戰。

據了解，搭載HBM3e的第二代GH200將于24年第二季度開始出貨。這一新型GPU的推出，將進一步推動HBM技術的應用和發展。同時，高速傳輸數據的HBM內存芯片已經成為人工智能的必要配置，這使得人工智能領域對HBM的需求也在不斷增長。

當前，HBM市場還處于初期發展階段。然而，據預測，到2025年，HBM市場規模有望年均增長45%以上。這一趨勢預示著HBM技術在未來的發展潛力巨大。

回顧今年，我們可以看到HBM的需求量受到了高階GPU提升的帶動而大幅增長了58%。與此同時，HBM3存儲器的價格已經上漲了5倍。這種價格上漲的趨勢表明，HBM技術在市場上的價值正在得到越來越高的認可和重視。