騰訊發布 Hy4 模型，7700 億參數和 100 萬上下文

騰訊發布 Hy4 preview，新模型採用 MoE 架構，總參數 770B，每次激活 49B，上下文擴展至 1M。相比 Hy3 的 295B 總參數、21B 激活參數和 256K 上下文，Hy4 的規模翻倍，長上下文擴大約 4 倍。Hy4 強調在代碼、辦公、遊戲和科研等真實任務中的應用，能夠從零搭建 Three.js 3D 網站，在 Unity 製作可玩的遊戲 Demo，處理 72 份財務文件，檢查重複報銷、額度超限和預算異常。Hy4 還與 WorkBuddy、CodeBuddy 等騰訊產品共同訓練和迭代。Hy4 參與自身研發，幫助優化訓練方法、數據策略、評測體系和底層算子，形成自我改進循環。Hy4 preview 已接入多個騰訊產品，騰訊在財報中預告 Hy4 將比 Hy3 更大，並將真實產品反饋作為模型訓練的重要來源。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。