日均Token调用量增长 专家建言AI时代“水电煤”高效流通

“Token质量参差不齐，一些服务商的模型很‘笨’。”清华大学计算机系长聘教授翟季冬近日在一场活动上说，部分服务商的慢响应比例接近20%，这意味着其提供的五分之一的服务都有问题。

Token，中文名“词元”，通俗来说为人工智能(AI)识别文字的最小碎片。国家数据局发布数据显示，今年3月，中国日均Token调用量已突破140万亿，较2024年初的1000亿增长超千倍。

有观察认为，全球AI产业已进入规模化落地的关键阶段，Token成为AI时代的“水电煤”，是大模型服务与智能应用的核心生产要素。

近日在北京举行的“中科创星硬科技媒体行——清程极智专场活动”上，翟季冬表示，伴随Agent智能体、多模态应用快速普及，Token正从交互用量转向生产用量，直接推动产业对推理效率、部署成本、服务稳定性的要求持续攀升。

Token需求爆发，国产算力与国产模型迎来高速发展，但二者之间的推理环节却长期依赖海外引擎。同时，Token服务市场面临的乱、贵、慢、选型难等突出问题，也成为制约AI技术普惠化、规模化落地的瓶颈。

作为清程极智首席科学家，翟季冬介绍说，团队针对大模型部署成本高、国产算力适配不足的痛点推出赤兔推理引擎。同时，面对Token服务市场服务商林立、指标混乱、选型成本高的行业乱象，打造AI Ping一站式大模型服务评测与API智能路由平台。

据悉，该平台已接入600余个大模型服务，覆盖文本、图片、视频等全场景，通过7×24小时多地域分布式监测，实时输出延迟、吞吐、可靠性、价格等核心指标，数据真实可核验。

“中国拥有世界上最繁荣的开源模型生态，AI算力持续增长。通过Token调用使用AI大模型的用户也日益增多。”翟季冬表示，他们将持续深耕AI基础设施领域，坚持核心技术自主可控，不断迭代赤兔推理引擎对国产芯片的适配能力，完善AI Ping评测与路由服务。