微軟在 Build 2025 大會期間宣布進入 AI agents 時代,旗下多款服務引入代理式AI,Google I/O 2025 期間也大談 AI 服務,Gemini 許多功能也將導入代理式AI。Arm 終端產品事業部產品管理副總經理 James McNiven 指出,AI 的模型已經越來越聰明,而且無所不在,裝置端跟 edge AI 已經在手機、PC、車載、穿戴裝置實現,代理AI 也已經被實現,不過“No Power=No AI”,AI 越普及等同於用電量越翻倍。

COMPUTEX 2025 期間,Arm 終端產品事業部產品管理副總經理 James McNiven 以「智慧的擴展性:AI 未來的關鍵需求」為題發表主題演講,在這之前,他向我們說明 AI 時代面臨的挑戰與機會,提到 AI 持續不斷成長,擴展性會遇到一些風險,產業如果沒有持續不斷創新,就會錯過滿足市場需求的機會。

ChatGPT 在 2023 年問世以來,AI 的模型已經越來越聰明,到如今 AI 已經無所不在,市場上有 9 成的人們接觸過 AI,裝置端跟edge AI 已經在手機、PC、車用、穿戴裝置實現,代理式AI 已經實現,也看到需求。

然而James McNiven引述第三方調查報告指出,AI 確實在現實上面臨了一些衝擊。以 ChatGPT 為例,它對話一次所消耗的能源,是傳統搜尋引擎模型的 15 倍,這還沒列入其他種類的 AI 工具,現在 edge AI 普及,工廠到裝置端的硬體也會使用,從全球來看,AI 使用的用電量每 100 天就翻倍成長。

”No Power=No AI“。

AI 與能源消耗是雞身蛋、蛋生雞的道理,相關數據顯示,2025 年一半左右新出貨晶片都是使用 Arm 架構,不管是通用型AI 還是商用 AI。然而James McNiven指出,面對能源效率效率的問題,產業必須要不斷創新因應市場對 AI 的需求,在這過程中,需要整個生態系一起動起來,包括從邊緣端到雲端,這不是一間公司能夠達成的。

舉例來說,現在的雲端就在 Arm 平台運行,打造客製化雲端、客製化AI、客製化晶片的過程中,積極面對 AI 平台能耗的問題就相當重要。

除了雲端之外,很重要的是要看推論,一直以來很多推論在雲端發生,但是因為需求的關係,現在許多推論必須要發生在 edge AI。

James McNiven指出,這是因為 edge AI 能做到隱私安全、低延遲性(好比說車載安全需求)、低耗能,與「民主化」,大家不需要花那麼多錢另外到雲端處理,edge AI 自帶成本身效率考量,如果可以做到本地推論,擴充性也比較快,以此為前提,AI 必須要在 edge 端發展,因為這確實是解決雲端AI耗能問題的方案之一。

edge AI 機會相當大,包括認知協助(好比說提醒吃藥、聲音影像的提醒)、自動提醒(好比說聊天機器人)與代理AI(好比說智慧助理),James McNiven引用NVIDIA 執行長黃仁勳“Software never dies”(軟體不滅),向大家提醒,硬體若要達到創新,仍需要仰賴開發者在軟體平台的貢獻。

他更進一步透露,ArmV9 CPU很快的會在今年稍晚來到,預計今年9月就會有很多創新產品推出,而 Arm v9 架構支援SME(Scalable Matrix Extension,可擴展矩陣擴展)指令集,IPC 有兩倍成長,也提供 SVE。而新的產品可以加速AI機器學習基礎,因為效能跟功率提升,可以做更多事情,更多的 CPU 安全架構,也代表資料會更安全。

微軟日前也宣布重構 Windows 11 平台,以支援基於 Arm 架構的PC,讓開發者能更方便使用電腦 AI 進行開發。根據聯發科執行長蔡力行公開的數據指出,原生平台 App 提升 3 倍,支援該平台的 App 已經超過 1400,其中包括熱門遊戲《Fornite》。

根據James McNiven的回應,我認為 Arm 的具體作為主要分為硬體、GPU 以及整個軟體生態圈,硬體方面像是上面提到的 SME 就是個很好的例子,而他們重點會放在 GPU 效能的提升,好比說 Drage。至於軟體生態系方面,則會協助開發者改善架構,把資料量、資料類型盡量縮小,讓 AI 學習 AI、適應 AI。

對此 James McNiven指出,去年在 COMPUTEX 推出的 Kleid:AI 函式庫,目前開發者數量超過 2,200萬人,他們不需要擔心相容性的問題,多數開發者可以用 Kleid:AI 整合進入現有的AI模型跟函式庫裡面,而且從邊緣端到雲端,所有裝置都適用,這就是 Arm 目前正在做的。

James McNiven強調,未來從雲端到地端,AI需要同時注重能源效率、安全性與效能的提升,因此 Arm 透過現有與未來的產品跟生態系統密切合作,在未來持續擴展、擴充,實現促進「AI的民主化」、將 AI 規模化,最終希望一起打造的AI生態系統,那麼這生態系統將會是強大、有能源效率、而且是「公平的」。

By 壹哥OneGeek1979

1979年出生於桃園, 2011年加入ETtoday新聞雲(Ettoday.net), 2019年創辦極熊仔,現為ETtoday新聞雲特約記者, 對新科技保持熱情,斜槓時尚包袋市場, 資訊爆炸時代,希望透過一點點趨勢觀點,為市場帶來更多正能量。

Leave ur Comment

探索更多來自 壹哥的科技生活 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

Continue reading