PrismML發布Bonsai 27B，270億參數AI模型適配iPhone

PrismML發布Bonsai 27B模型，這是首個能夠在消費級智慧型手機上運行的270億參數AI模型。該模型壓縮至3.9GB，可在iPhone 17 Pro Max上以每秒11個token的速度運行。三進制變體壓縮至5.9GB，在M5 Pro筆記本上達到每秒26個token。壓縮技術基於加州理工學院知識產權，將每個模型權重從16位浮點精度降至僅正1或負1，二進制變體比全精度模型小14倍。在15項基準測試中，三進制Bonsai 27B平均得分80.49，達到全精度模型94.6%的性能。該模型以Apache 2.0許可證免費發布。PrismML CEO Babak Hassibi確認公司正與蘋果就壓縮技術進行早期談判，下一步計劃壓縮Gemma模型。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。