近日,高质量词元(Token)服务研讨会在北京召开。本次研讨会聚焦Token服务产业生态建设,探讨如何以高质量Token服务推动智能经济快速发展。中国信通院人工智能研究所所长魏凯出席并发表题为《高质量词元(Token)服务发展洞察》的主题演讲。

Token产业生态加速形成,调用量呈指数级增长。人工智能发展日新月异,2026年第二个季度,每2.8天就有一个前沿大模型发布,不断刷新模型能力的上限。随着智能体的落地,国内外的Token调用量也呈现指数级增长。
国家数据局发布的数据显示,2026年3月份全国Token调用量是140万亿每天,其中包含自有自用的APP调用。而公有云上的调用量是ToB市场中比较聚焦的、以公有云形式对企业提供Token API服务的数字。根据中国信通院统计,2025年全年全国公有云Token调用量是2000万亿,2026年第一季度就达到了去年全年的水平,后续增速将持续加快。
再加上长思考、多模态,以及整体范式走向Loop,Token调用量会更进一步提升。人工智能技术的快速增长、快速发展、加速普及,以及使用范式的变化,都为Token调用量增长注入了强劲动力。
现在,终于有一个可以计量智能服务的词——“Token”——正式的中文名称叫做“词元”。现在Token成了大家以服务化形式使用人工智能的基本计量单位,促进了智能经济的快速发展。未来,Token可能会像现在公共基础设施中的水电煤一样,来计量智能服务。
围绕着Token,正在形成一个越来越清晰的产业生态。大家都在拼命建“Token工厂”,从底层的数据中心芯片,到中间的云服务商,再到上层的Token分发平台,以及最上层消耗Token、智能体交付和应用开发企业,形成了当前越来越繁荣的产业生态。
Token服务受到越来越多的关注,什么是高水平、高质量的Token服务就更加要重视。目前,Token服务质量还存在多重挑战。
一是智能水平难衡量,同样数量的Token背后蕴含的智能水平差异显著;二是服务性能难保障,时有时断时续、时延抖动,对于真正接入生产系统还有很大阻力;三是服务管理不完善,前景是Token Minimizing,就是怎么把Token使用量最小化,Token使用和预算管理仍不完善;四是Token的安全风险凸出,公有云Token服务API调用引入新的安全问题风险较高,用户数据隔离不彻底问题频发。
高质量Token服务包括三大核心维度:智能、性能、安全。
首先,智能密度是决定因素,不是Token量越多越好,前沿模型往往Token消耗量非常少,尤其是最近的Fable5,回答非常精简,而且没有思考输出,但定价很高,意味着单位智能密度非常高。未来模型一定会朝着精简、提升智能密度的方向去努力。我们监测全球人工智能大模型前沿模型的智能水平,从2024年2月份到现在,智能水平增长非常快,开源和闭源的差距也在不断缩小。智能密度定义为模型能力除以参数量,越新的模型智能密度越高。Token智能密度是模型能力除以解决某一任务所需的推理Token数量,也有很显著的差异,不同模型表现非常不一样,也是朝着越来越高的方向发展。所以选型高质量的Token,首先要看Token服务背后的智能水平。
其次,服务性能稳定是可靠保障。中国信通院建立了Token服务质量监测体系,2026年以来监测发现,国内模型服务的Token调用成功率稳定在99.9%左右。TPS和首Token时延也在同步增加——好消息是TPS增加了,5月份全国各个大模型服务平台的TPS均值达到66个/秒,比年初50个/秒多上升很大,比2025年均值大幅上升73%。但不好的现象是首Token时延也在同步增加,5月份均值达到1.09秒,相较于2025年均值增加0.31秒,这主要反映出在线服务的模型规模普遍变大、上下文长度变长,在同样算力服务下确实会拖长首Token时延。
另外,同一开源模型在不同服务商平台上的推理指标有显著差异,大家在选择的时候要看准服务商能提供什么样的SLA来满足生产级服务。尤其是企业级智能体,很多都要嵌入业务流,一旦宕机业务就会导致业务中断,这方面要非常重视。
最后,安全合规是信赖底线。2026年4月,国家安全部发布了“Token安全警示”,披露了三大风险:滥用中转站可能引发的劫持泄露风险、伪造篡改风险、诈骗陷阱风险。在使用Token服务时,安全应当作为必选项来做好防范。
主要有三个方面:一是技术层面,要做好内生风险防范和护栏防范,防范提示词攻击、越狱攻击等,对有害信息进行拦截隔离;二是运营层面,要对中转站、链路明文传输的裸奔现象提高警惕,对违法失信行为提高警惕;三是业务层面,用户侧也要加强安全意识,尤其是在金融、医疗、政务等高危场景中,敏感数据和敏感业务怎么使用要格外注意。
但是,提安全问题并不意味着讳疾忌医、拒绝使用公有云。公有云的Token服务三个方向都可以兼得,云服务商已有很多解决方案,在提供高水平Token的同时保护安全。最近我们也在做相关标准,包括使用加密计算保护用户通道安全,如果大家愿意付出更高成本,可以采取物理硬隔离或虚拟隔离等措施,在共享资源情况下保护Token安全性。
发展趋势一:从量变到质变,推动Token服务步入精耕时代,智能体的调用结果不是很长的文本,而是调用动作的序列,所以Token输出一定会越来越精简、指向性更强,模型的智能密度一定会越来越高。

发展趋势二:从粗放到精益,提升Token服务性价比,衡量性价比不能单纯看价格,要从用户体验、单位能耗以及Token带来的应用价值等维度来衡量。Token消耗量和成本关系较为复杂,很多模型虽然定价很高,但解决同样任务下Token消耗量很低,按智能水平来看单位Token成本实际上并不高。量多不等于贵,便宜不等于物超所值。
发展趋势三:从可用到可管,提升Token服务运营和信任度。最终追求的目标就是智能像打开水龙头一样,连上API、配好Key就能使用到全球最好的模型,要看得见、算得清、管得住。要解决Token使用过程不透明、计费不规则不透明、全生命周期管理能力弱等困境,走向高质量、可信的Token服务。
发展趋势四:服务安全风险向链路传导和生态放大,模型服务中的数据安全问题怎么解决,怎么阻断各种风险传导链条,同时要重视Token中转站、Token Hub这类中间商在转接使用过程中的信息安全、数据安全问题。模型服务安全风险已不局限于数据内容本身,而是沿模型调用链路多点暴露,并在中转服务生态中因流量、数据和责任集中进一步放大。
多方协同共建高质量Token服务生态是当前的重要发展机遇。Token服务商需要不断提升模型性能水平,以更有性价比的方式为用户提供Token服务;运营商整合算网、云资源介入渠道;地方政府积极把手里政府所有的算力转化成Token工厂,这些都为Token生态注入了越来越强大的源头活水。
为了更好地把大家的力量团结在一起,中国信通院希望联合Token服务商、电信运营商、地方政府以及上层应用厂商等各方,共同推动“高质量Token服务”相关工作:
一是建设高质量Token服务标准体系。我们已形成Token服务质量、运营能力和生产能力以及安全能力四个板块20余项行业标准,下一步会不断完善标准体系,把标准推向千行百业的应用,通过检测认证把标准真正落实下去。
二是持续开展Token服务质量监测。在线监测服务24小时不间断开展,把Token服务的稳定性和大模型的智能水平测试结合起来,让市场更加透明、更加公平。
三是联合学术机构、高校开展Token关键技术研究。包括Token综合成效指数以及相关的能效指标等研究,形成更具针对性的性价比指引。
四是持续开展Token服务安全检测。中国信通院有非常全的人工智能安全测试能力和安全漏洞库等第三方基础设施,在Token内容安全、内容可靠性交互、幻觉隐私安全、Token供应链安全等多个维度开展安全防护工作。

未来,各方可深化全方位、多维度战略合作,共同推进Token服务普惠化进程。聚焦技术研发攻关、行业标准体系建设、服务质量动态监测、应用场景评估咨询及Token服务国际化出海等核心领域,持续夯实合作基础、拓宽合作边界。依托国内优质开源模型资源与日趋完善的算电协同基础设施优势,整合产业核心能力,面向全球特别是广大南方国家输出优质、高效的Token服务,助力全球数字服务均衡发展。同时,倡议产业各界凝聚共识、协同发力、共建共享,持续培育高质量、规范化、可持续的Token产业生态,推动行业生态持续繁荣向好。
来源丨CAICT人工智能