Meta 發表 LLM 學習成本降低論文

Meta FAIR 研究團隊指出大型語言模型（LLM）學習規模預測的局限性，並提出了修正模型「Skaling」。論文中提到的「減少 10 倍計算量」並不意味著整體學習成本的降低，而是指實驗成本的降低。研究團隊表示，模型大小和學習數據對損失值的獨立作用在某些區間內會產生誤差。Skaling 法則旨在反映模型大小 N 和學習標記 D 共同作用的效果，以減少預測誤差。研究團隊指出，Skaling 在測試的配置中有 76% 的準確度高於 Chinchilla，並且在中位數基準下的誤差改善幅度達到 2.2 倍。平均絕對百分比誤差（MAPE）根據實驗條件減少了 1.5 到 3 倍。論文解釋，使用針對低成本區間的「L 形」剖析網格，可以在計算量約為整體網格均勻掃描的 10 倍的情況下獲得相似的預測準確度。這並不意味著整體學習成本降低到十分之一。Meta 表示，2024 年 8B 模型在學習超過 Chinchilla 最佳點的 15 兆標記後，性能仍有改善。此次論文作為 arXiv 預印本，重點聚焦於 AI 學習效率和縮放法則修正的爭論。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。