Arm 計算平臺加持，全新 Llama 3.2 LLM實現AI 推理的全面加速和擴展
關鍵詞： Arm Meta Llama 3.2 AI 邊緣側 合作 開源 小型模型 云端 Kleidi PyTorch CPU 設備 未來
新聞重點：
在 Arm CPU 上運行 Meta 最新 Llama 3.2 版本，其云端到邊緣側的性能均得到顯著提升，這為未來 AI 工作負載提供了強大支持
Meta 與 Arm 的合作加快了用例的創新速度，例如個性化的端側推薦以及日常任務自動化等
Arm 十年來始終積極投資AI領域，并廣泛開展開源合作，為 1B 至 90B 的 LLM 實現在 Arm 計算平臺上無縫運行
人工智能 (AI) 的迅猛發展意味著大語言模型 (LLM) 的新版本不斷推陳出新。要充分發揮 AI 的潛力并抓住其帶來的機遇，需要實現 LLM 從云端到邊緣側的廣泛部署，而這也伴隨著對計算和能源需求的大幅增長。整個生態系統正攜手尋找應對這一挑戰的解決方案，不斷推出新的更加高效的開源 LLM，以便大規模實現各種 AI 推理工作負載，加快為用戶帶來全新、快速的 AI 體驗。
為此，Arm與Meta 展開緊密合作，在 Arm CPU 上啟用新的Llama 3.2 LLM，集成開源創新與 Arm 計算平臺的優勢，顯著推進了解決AI挑戰的進程。得益于Arm 的持續投資及與新型LLM 的合作， Arm CPU運行 AI 的優勢在生態系統中脫穎而出，使Arm成為 AI 推理開發者的首選平臺。
加速云到邊緣側的 AI 性能
小型 LLM（如 Llama 3.2 1B 和 3B）能夠支持基于文本的基礎生成式 AI 工作負載，對于大規模 AI 推理的實現至關重要。通過 Arm CPU 優化內核在 Arm 技術驅動的移動設備上運行新的 Llama 3.2 3B LLM，可讓提示詞處理速度提高五倍，詞元 (token) 生成速度提高三倍，在生成階段實現每秒 19.92 個詞元。這將直接減少了在設備上處理 AI 工作負載的延遲，大大提升了用戶整體體驗。此外，當邊緣側能處理的 AI 工作負載越多，往返云端傳輸數據所節省的電量就越多，進而節省了能源和成本。
除了在邊緣側運行小型模型，Arm CPU同樣支持在云端運行更大的模型（如 Llama 3.2 11B 和 90B）。11B 和 90B 的模型非常適合云端基于 CPU 的推理工作負載，可生成文本和圖像，其中，在 Arm Neoverse V2 上的測試結果展現出了更大的性能提升。在基于 Arm 架構的 AWS Graviton4 上運行 11B 的圖像和文本模型，可以在生成階段實現每秒 29.3 個詞元的表現，遠遠超出了人類大約每秒閱讀五個詞元的速度。
AI 將通過開源創新和生態系統協作迅速擴展
能公開獲取新的 LLMs（如Llama 3.2）至關重要。開源創新正以迅猛速度發展，在之前的版本中，開源社區在不到 24 小時的時間內便能在 Arm 上部署并運行新的 LLM。
Arm將通過 Arm Kleidi 進一步支持軟件社區，讓整個 AI 技術棧能夠充分發揮這一優化的 CPU 性能。Kleidi 可在任何 AI 框架上解鎖 Arm Cortex 和 Neoverse CPU 的 AI 功能和性能，無需應用程序開發者進行額外的集成工作。
通過最近的 Kleidi 與 PyTorch 集成以及正在推進的與 ExecuTorch 集成，Arm正在為基于 Arm CPU的開發者提供從云端到邊緣側的無縫 AI 性能。得益于Kleidi 與 PyTorch 的集成，在基于 Arm 架構的 AWS Graviton 處理器上運行 Llama 3 LLM 的詞元首次響應時間加快了 2.5 倍。
同時，在端側，與參考實現相比，在 KleidiAI 庫的加持下，使用 llama.cpp庫在新的 Arm Cortex-X925 CPU 上運行 Llama 3 的詞元首次響應時間加快了 190%。
構建 AI 的未來
Arm 與 Meta 的合作成為了行業合作的新標桿，匯聚了 Arm 計算平臺的靈活性、普及性和 AI 功能，以及 Meta 等行業巨頭的技術專長，共同解鎖AI 廣泛應用的新機遇。無論是利用端側 LLM 滿足用戶的個性化需求，如根據用戶所處的位置、日程和偏好來執行任務，還是通過企業級應用來優化工作效率，讓用戶能夠更專注于戰略性任務，Arm 技術的集成都為未來奠定了基礎。未來，設備不再只是命令和控制工具，更是能在提升用戶整體體驗方面扮演積極的作用。
在 Arm CPU 上運行 Meta 最新 Llama 3.2 版本，其AI 性能實現了顯著提升。這類開放式合作是實現無處不在的 AI 創新、促進 AI 可持續發展的最佳途徑。通過新的 LLM、開源社區和 Arm 的計算平臺，Arm 正在構建 AI 的未來， 到 2025 年，將有 1000 多億臺基于 Arm 架構的設備支持 AI。
關于 Arm
Arm 作為業界性能最強、能效最高的計算平臺，以無可比擬的規模，覆蓋全球 100% 的聯網人群。Arm 提供先進的解決方案以滿足對計算永無止盡的需求，進而賦能全球領先的科技公司釋放前所未有的人工智能體驗和性能。Arm 攜手全球最廣泛的計算生態系統和 2,000 萬軟件開發者，共同在 Arm 平臺上構建人工智能的未來。
