人工智慧研究者:從Token到“詞元”,變化背後的分量很重

日前,在中國發展高層論壇2026年年會上,國家數據局局長劉烈宏明確將Token稱為“詞元”,並將它定義為“結算單位”。作為一名長期跟蹤人工智慧發展的研究人員,我一下子就捕捉到這個表述的變化。這個變化背後的分量很重。  

它意味著,我國人工智慧正在從“能力佈局”邁向“能力結算”,從模型好不好,轉向智能服務如何計量、如何定價、如何交易。過去,很多企業採購軟體,買的是許可證、帳號數和部署週期;如今,越來越多企業採購的,是可調用、可核算、可複盤的智能服務量。  

詞元,正是那個把智能服務折算成成本與價值的刻度。真正值得重視的,不只是一個譯名,而是一個計量體系正在成形。  

數據顯示,2024年初,中國日均詞元調用量為1000億;到2025年底,躍升至100萬億;到2026年3月,已突破140萬億,兩年增長超過1000倍。自2026年1月底以來,有的模型企業創下20天收入超過2025年全年總收入的業績紀錄。  

短短兩組數據,已經足以說明一個事實:詞元不再只是技術指標,而正在成為人工智慧商業化速度、應用深度和產業景氣度的重要觀測值。  

中文語境下,給Token定名為“詞元”,格外有意義。它比“詞”更準確,也比“令牌”“標記”更貼近語言處理場景。特別是強調了“基礎單元”這個屬性,既方便公眾理解,也有助於產業、媒體和政策口徑統一。  

但如果把2026年3月23日看成“詞元”橫空出世的時刻,也並不準確。事實上,Token並不是大模型爆紅後才臨時冒出來的新詞。  

往前追溯,在學理脈絡上,它可追溯至20世紀初研究者提出的type-token區分,隨後進入語言學、計算語言學和自然語言處理領域,成為文本處理的基礎概念。在中文規範體系,2018年已有電腦學科術語規範工具書,將相關場景下的Token譯為“詞元”。  

詞元本質上是大模型處理資訊的最小資訊單元。人類說出一句話之後,模型要先把文本切分成詞元,再把詞元映射成編號,隨後才能完成關聯、推斷和生成。  

這也是為什麼同樣一句中文,在不同模型裏,詞元數量往往並不相同。切分規則不同,成本就不同,速度就不同,可容納的上下文長度也會不同。  

為何詞元調用量快速攀升到140萬億?答案不是簡單的“聊天變多了”,而是應用形態變了。對話應用消耗詞元,長流程任務更消耗詞元,調用工具、讀取文檔、連續規劃、多輪回饋,同樣都要反復吃進上下文、生成新輸出。表面看,用戶只是讓模型“幫我做件事”,而系統內部,實際上是一次次高密度的資訊拆分、調用和結算。  

正如劉烈宏在同一場演講中所說的:人工智慧正從“對話”走向“決策執行”,智能體正在驅動中國大模型應用規模爆發式增長。  

另一方面,詞元調用增長越快,越說明數據供給體系正在跟上模型推理與應用消耗的節奏,也說明數據、模型、場景與商業閉環開始貫通,“詞元經濟”雛形正在顯現,“數據供給—價值釋放”的良性迴圈已初現端倪。  

但詞元多,並不自動等於智能強。  

我在和企業交流時,常會碰到一種誤解:是不是詞元消耗得越多,模型就越聰明、答案就越好?  

事實並非如此。詞元更像水錶和電錶,負責記錄消耗,不負責保證品質。真正決定結果的,仍然是模型能力、數據品質、任務設計和提示組織方式。  

一句話:沒有高質量數據,詞元只是空轉;沒有合適場景,再便宜的詞元也難以轉化出真正的生產力。  

詞元像是一塊很小的磚,卻可能正在墊高一個時代的門檻。很多人第一次聽見“詞元”時,會覺得它抽象、陌生。但  從此刻起,詞元正像“位元組”“流量”“千瓦時”那樣,成為普通人必須逐步理解的新單位。這也意味著人工智慧開始被納入更成熟的經濟敘事。

 

  2025年8月28日,參展商與觀展者在2025中國國際大數據產業博覽會會場交流城市數智化實踐情況。新華社記者陶亮 攝

我第一次強烈意識到詞元的這種敘事改變,不是在實驗室,而是在一張預算表前。  

前段時間,我和幾位企業負責人討論大模型接入方案。大家談完模型能力、幻覺率、知識庫召回率,財務負責人忽然指著一行費用問我:為什麼這套系統不是按帳號數收費,也不是按調用次數收費,而是按“月度詞元消耗量”核算?  

那一刻,我意識到,詞元已經像工業時代的度電、互聯網時代的流量一樣,成為企業理解人工智慧時代“成本”的新度量衡。它不只服務於技術研發,也會越來越多地出現在預算表、採購單、報價單和監管語境裏。  

我們當然不能把一個時代的變化,全部壓縮進一個術語裏。但有些時候,一個術語的正式定名,恰恰標誌著一個產業階段已經悄然切換。今天的詞元,也許就站在這樣的節點上。  

等到更多人讀懂詞元,人工智慧的落地方式也會被重新理解。以後再聽到“這個模型很費詞元”“上下文又超了”“本月詞元預算不夠了”時,我們不妨少一點陌生感。這也在提醒我們:人工智慧已經不只是在展示聰明,它正在像水、電、網路和雲資源一樣,被精確計量,被持續調度,被大規模交易。   

真正變化的,也從來不只是一個中文名字。(作者系賽迪研究院人工智慧研究中心副研究員鐘新龍)  

 


廣告
廣告