中國在訓練人工智慧上缺乏中文數據：新的障礙不是晶片

**中國在人工智慧（AI）競賽中面臨新的瓶頸：中文訓練數據的短缺。儘管晶片主導了討論，專家警告說，中文網絡內容僅佔1.3%，可能會阻礙該國AI模型的發展。

• 中文僅佔全球網絡內容的1.3%，而英語則佔49%。
• 北京計劃在2028年前建立經過驗證的國家數據集，以促進AI發展。
• 如華夏等編輯部已禁止使用其內容來訓練AI。

中國在人工智慧（AI）方面的競爭有了一個新的限制，這不依賴於半導體。儘管美國對先進晶片的出口管制引起了廣泛關注，但該國正面臨著中文高質量訓練數據的短缺。這一短缺同樣可能成為限制因素，與硬體不同，沒有簡單的技術解決方案。

根據網絡追蹤器W3Techs的數據，中文僅佔全球網絡內容的1.3%。相比之下，英語幾乎佔據了一半，西班牙語達到6%，日語則為5%。這一不平衡直接影響了中國開發先進語言模型的能力。

全球數據牆

數據短缺並非中國所獨有，但這一問題在中國表現得尤為嚴重。Epoch AI估計，全球高質量公共文本的供應可能在六年內完全耗盡。OpenAI的聯合創始人安德烈·卡爾帕西（Andrej Karpathy）警告說，這可能在本世紀末造成一個“數據牆”。

中國的開發者已經為有用的標記支付了比西方同行更高的價格。原因很簡單：他們的模型必須在其母語中使用更少的材料，這使得訓練成本上升。這一差距在中國模型與美國模型在複雜任務中的表現上顯而易見。

問題變得更加複雜，因為中國的數字生態系統是封閉的。像微信和抖音這樣的平台不與外部開發者共享數據，這使得AI實驗室只能依賴質量較低的數據來源。與西方相比，西方有更多的公共社交媒體和論壇數據可供訪問，而中國則面臨內部障礙。

這一情況使專家們認為，數據短缺的嚴重程度與晶片限制相當。沒有硬體解決方案可以解決中文文本的短缺。這是一個結構性問題，需要長期的策略。

中國政府的回應

北京已經將數據視為戰略基礎設施。今年六月，中國國家數據管理局提出了一項國家計劃，計劃在2028年前建立經過驗證的AI訓練數據集。這些數據集將涵蓋製造、能源、健康、金融、農業、自動駕駛和集成AI等領域。

中國信息通信技術學院（中國國家機構）主席余曉輝表示：“在AI時代的競爭中，不僅僅是模型和計算能力的競爭，還包括高質量數據供應系統的競爭。”這一觀點反映了官方對問題嚴重性的認識。

清華大學計算機科學家孫茂松呼籲當局數字化歷史檔案、古代手稿、科學文獻和地方方言。這些至今尚未被充分利用的資源，可能會顯著擴大可用於訓練AI模型的語料庫。

然而，數字化歷史材料是一個昂貴且緩慢的過程。並非所有內容都以數字格式提供，許多內容需要特殊處理。儘管政府努力，但在短期內，與英語的差距仍將是巨大的。

另一個障礙是出版界的抵制。例如，華夏出版社最近在一個新翻譯中添加了一個警告："禁止使用本書內容來訓練人工智慧。違者將承擔法律責任"。這一措施被其他出版商效仿，進一步減少了可用的資料來源。

美國的優勢與巴拿馬計畫案例

在美國，情況截然不同。創造Claude的公司Anthropic啟動了巴拿馬計畫，購買並銷毀了數百萬本實體書，以掃描它們並用作訓練數據。這一激進的策略與中國面臨的稀缺形成鮮明對比。

這一比較說明了數據獲取已成為關鍵的競爭優勢。美國擁有龐大的英文語料庫，而中國僅擁有1.3%的網絡內容以其語言呈現。這一差異轉化為西方更強大且訓練更好的模型。

數據顯示，英語佔網絡內容的49%，而中文僅佔1.3%。為了達到與英語相當的數據量，中國需要將其數位存在增加近40倍。這是一項艱鉅的任務，無法在短時間內完成。

專家指出，除了數量，內容的質量也至關重要。互聯網上可用的中文文本通常在多樣性和質量上不及英語。這影響了模型在推理、理解和文本生成任務中的表現。

數據稀缺也對經濟產生影響。中國的開發者必須投入更多資源進行數據清理和策展，這使得過程成本上升。反過來，數據的缺乏限制了在醫療或工程等新興領域的創新能力。

對中國人工智慧未來的影響

中文數據的稀缺不僅影響人工智慧實驗室，還影響該國在全球舞台上的競爭力。如果中國無法克服這一障礙，其模型在複雜任務中將繼續落後於美國。這可能會阻礙人工智慧在經濟關鍵領域的採用。

中國政府意識到這一挑戰，因此已啟動計劃以建立國家數據庫。然而，這些解決方案需要數年才能實現。與此同時，中國企業正在尋找替代方案，如生成合成數據或收購擁有大量文本語料的公司。

另一條路是開發多語言模型，利用其他語言的數據。但對中文的重視對於本地應用至關重要，因為語言的準確性至關重要。缺乏特定於中文的數據將繼續成為模型個性化和適應的障礙。

這則由The Next Web報導的消息強調了一個常被忽視的觀點：人工智慧不僅依賴於算法和計算能力，還依賴於數據。而當數據稀缺時，即使是科技強國也會遭遇困境。中國正在以最艱難的方式學習這一點。

總之，中文訓練數據的稀缺是一個結構性問題，沒有快速解決方案。與可以通過投資和時間製造的芯片不同，數據是一種有限且難以創造的資源。中國在人工智慧主權的競賽中面臨著一堵無法通過工廠或法令打破的牆。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。