Meta 宣布新一代 Llama 3 初始的兩個模型已可廣泛使用,此版本包含預訓練和指令微調的語言模型,其中的 8B (80 億) 和 70B (700 億) 參數,可支援更多元的使用情境,新一代 Llama 擁有更精準的推理能力,此外,Llama 3 將提供社群運用,從應用程式、開發人員工具、評估,再到優化推理能力等,鼓勵開發者開始建立專屬的內容,給予更多回饋與建議,透過與高通技術公司合作,Meta Llama 3 大型語言模型(LLM)得以直接在智慧型手機、PC、VR/AR頭戴式裝置和汽車等終端裝置上執行。

Meta 表示,Llama 3 模型預計將可於 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等平台上使用,並由 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 等硬體平台支援運作。

與此同時 Amazon Web Services(AWS)宣布,Meta Llama 3基礎模型現已在Amazon SageMaker Studio的美東(北維吉尼亞州)、美東(俄亥俄州)、美西(奧勒岡州)、歐洲(愛爾蘭)和亞太(東京)區域提供部署和推論服務。

Meta 發布的兩款Llama 3基礎模型Llama 3 8BLlama 3 70B現已在Amazon SageMaker JumpStart中提供。這兩款模型的上下文長度(Context Length)為8kLlama 3使用了僅含解碼器的Transformer架構,以及高達128k規模的新型分詞器,極大提升了模型的效能。此外,Meta進的訓練後處理常式大幅降低了誤拒率,提高了模型回應的一致性和多樣性。

 Amazon SageMaker JumpStart提供預訓練的模型、內置演算法和預建構的解決方案,幫助客戶快速開始機器學習專案。Amazon SageMaker JumpStart能夠幫助客戶從廣泛的公開可用基礎模型中進行選擇,並將基礎模型部署到專用的SageMaker實例中,這些實例位於網路隔離的環境,並可以使用SageMaker進行模型訓練和部署。

 Amazon SageMaker Studio中透過點擊或透過SageMaker Python SDK程式設計方式部署Llama 3模型,還可以利用SageMaker PipelinesSageMaker Debugger或容器日誌等功能,提升模型效能並實施MLOps控制。此外,該方式部署的模型始終處在AWS的安全環境下,由客戶的VPCVirtual Private Cloud)控制,以確保資料安全。

至於 Meta 與高通的合作旨在支援OEM廠商和開發人員,讓其能夠在搭載即將推出的旗艦 Snapdragon平台裝置上取用 Llama 3,推動生成式 AI 功能的普及。

藉由高通技術公司的異質運算架構,無縫地利用業界領先的CPU、GPU和NPU,並結合尖端的記憶體架構,使客戶、合作夥伴和開發人員能夠最大限度地提升應用效能、散熱效率和電池續航力。

開發人員將能在 Qualcomm AI Hub 上取得相關資源和工具,以實現在Snapdragon平台上最佳化運行Llama 3。Qualcomm AI Hub目前可提供約100個最佳化的AI模型,能為開發者縮短產品上市時間,並讓其開發的應用程式充分發揮裝置上AI的優勢。

Meta 希望透過建立與目前專有模型並駕齊驅的最佳開放模型 Llama 3 ,回應開發人員的回饋,並提高 Llama 3 的整體實用性,同時持續領導負責任地使用並部署大型語言模型。Meta 這次推出的以文字為基礎的模型為 Llama 3 系列的第一波模型,期待未來提供多語言和多模態、有更長的上下文語境,並繼續提升推理和編寫程式碼等核心大型語言模型能力的整體表現。

目前 Llama 3 中全新 8B 和 70B 參數的模型,相較於 Llama 2 有大幅的進步,Meta 在後訓練程序流程的改進大幅降低錯誤拒絕率(False Rejection Rate, FRR),並提升模型反應的多樣性。同時,在推理、程式碼生成和指令遵循等功能亦有顯著提升,讓 Llama 3 更易於操控。

在 Llama 3 的開發過程中,Meta 不僅研究模型在基準測試中的表現,並嘗試為真實的情境優化效能。為此,Meta 全新開發優質的人類評估集(human evaluation set),包含 1,800 個提示,涵蓋 12 個關鍵使用情境,例如尋求建議、腦力激盪、分類、封閉式問答、編寫程式碼、創意寫作、擷取訊息、扮演角色 / 人物、開放式問答、推理、改寫與總結。為了防止模型在此評估集上不小心過度擬合(Overfitting),Meta 更限制內部模型建立團隊對模型的存取。

安全性方面,Meta 已經進行內部與外部的紅隊測試(red-teamed tested),以確保其安全性。Meta 的紅隊測試方式運用人類專家及自動化方式,產生對抗性提示,試圖引導出有問題的回應。例如,大家對化學、生物、網路安全等風險領域相關的誤用風險,進行全面的測試。這些測試都將不斷迭代更新,並用於為即將發布的模型進行安全微調,提供資訊。

在生成式 AI 領域,Meta 則以開放生態系來減輕潛在危害,身為生態系的一員,Meta 正在更新其負責任使用指南(Responsible Use Guide, RUG),Meta 建議根據應用程式的內容指南,檢示並過濾所有輸入與輸出內容,並且鼓勵開發人員考慮使用許多雲端服務供應商提供內容檢核的 API,以及其他用於負責任部署的工具。

即日起大家可以前往 Llama 3 網站下載模型並參考新手指南,以取得所有可用平台的清單。

By 壹哥OneGeek1979

1979年出生於桃園, 2011年加入ETtoday新聞雲(Ettoday.net), 2019年創辦極熊仔,現為ETtoday新聞雲特約記者, 對新科技保持熱情,斜槓時尚包袋市場, 資訊爆炸時代,希望透過一點點趨勢觀點,為市場帶來更多正能量。

Leave ur Comment

探索更多來自 壹哥的科技生活 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

Continue reading