Meta 宣布新一代 Llama 3 初始的兩個模型已可廣泛使用,此版本包含預訓練和指令微調的語言模型,其中的 8B (80 億) 和 70B (700 億) 參數,可支援更多元的使用情境,新一代 Llama 擁有更精準的推理能力,此外,Llama 3 將提供社群運用,從應用程式、開發人員工具、評估,再到優化推理能力等,鼓勵開發者開始建立專屬的內容,給予更多回饋與建議,透過與高通技術公司合作,Meta Llama 3 大型語言模型(LLM)得以直接在智慧型手機、PC、VR/AR頭戴式裝置和汽車等終端裝置上執行。
Meta 表示,Llama 3 模型預計將可於 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等平台上使用,並由 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 等硬體平台支援運作。
與此同時 Amazon Web Services(AWS)宣布,Meta Llama 3基礎模型現已在Amazon SageMaker Studio的美東(北維吉尼亞州)、美東(俄亥俄州)、美西(
Meta 發布的兩款Lla
Amazon SageMaker JumpStart提供預訓練的模型、
在Amazon SageMaker Studio中透過點擊或透過SageMaker Python SDK程式設計方式部署Llama 3模型,還可以利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能,提升模型效能並實施MLOp
至於 Meta 與高通的合作旨在支援OEM廠商和開發人員,讓其能夠在搭載即將推出的旗艦 Snapdragon平台裝置上取用 Llama 3,推動生成式 AI 功能的普及。
藉由高通技術公司的異質運算架構,無縫地利用業界領先的CPU、GPU和NPU,並結合尖端的記憶體架構,使客戶、合作夥伴和開發人員能夠最大限度地提升應用效能、散熱效率和電池續航力。
![]()
開發人員將能在 Qualcomm AI Hub 上取得相關資源和工具,以實現在Snapdragon平台上最佳化運行Llama 3。Qualcomm AI Hub目前可提供約100個最佳化的AI模型,能為開發者縮短產品上市時間,並讓其開發的應用程式充分發揮裝置上AI的優勢。
Meta 希望透過建立與目前專有模型並駕齊驅的最佳開放模型 Llama 3 ,回應開發人員的回饋,並提高 Llama 3 的整體實用性,同時持續領導負責任地使用並部署大型語言模型。Meta 這次推出的以文字為基礎的模型為 Llama 3 系列的第一波模型,期待未來提供多語言和多模態、有更長的上下文語境,並繼續提升推理和編寫程式碼等核心大型語言模型能力的整體表現。
目前 Llama 3 中全新 8B 和 70B 參數的模型,相較於 Llama 2 有大幅的進步,Meta 在後訓練程序流程的改進大幅降低錯誤拒絕率(False Rejection Rate, FRR),並提升模型反應的多樣性。同時,在推理、程式碼生成和指令遵循等功能亦有顯著提升,讓 Llama 3 更易於操控。
![]()
在 Llama 3 的開發過程中,Meta 不僅研究模型在基準測試中的表現,並嘗試為真實的情境優化效能。為此,Meta 全新開發優質的人類評估集(human evaluation set),包含 1,800 個提示,涵蓋 12 個關鍵使用情境,例如尋求建議、腦力激盪、分類、封閉式問答、編寫程式碼、創意寫作、擷取訊息、扮演角色 / 人物、開放式問答、推理、改寫與總結。為了防止模型在此評估集上不小心過度擬合(Overfitting),Meta 更限制內部模型建立團隊對模型的存取。
![]()
安全性方面,Meta 已經進行內部與外部的紅隊測試(red-teamed tested),以確保其安全性。Meta 的紅隊測試方式運用人類專家及自動化方式,產生對抗性提示,試圖引導出有問題的回應。例如,大家對化學、生物、網路安全等風險領域相關的誤用風險,進行全面的測試。這些測試都將不斷迭代更新,並用於為即將發布的模型進行安全微調,提供資訊。
在生成式 AI 領域,Meta 則以開放生態系來減輕潛在危害,身為生態系的一員,Meta 正在更新其負責任使用指南(Responsible Use Guide, RUG),Meta 建議根據應用程式的內容指南,檢示並過濾所有輸入與輸出內容,並且鼓勵開發人員考慮使用許多雲端服務供應商提供內容檢核的 API,以及其他用於負責任部署的工具。
即日起大家可以前往 Llama 3 網站下載模型並參考新手指南,以取得所有可用平台的清單。