**新研究揭示 AI 模型存在“分词器税”：小语种 Token 消耗量最高相差 17 倍**

_新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍_

> 最新研究显示，AI 模型处理不同语言时消耗的 Token 数量存在巨大差异，最高可达 17 倍，导致小语种用户面临更高的使用成本、更慢的响应速度及更短的上下文窗口。这一现象被称为隐性的“分词器税”，严重限制了非英语地区参与 AI 经济的机会。专家呼吁 AI 实验室通过优化分词器设计和增加高质量多语言数据来缩小这一差距。

**来源信息**
- **来源**：IT之家（RSS）
- **分类**：行业
- **发布时间**：2026-10-30 12:25（北京时间）
- **原文**：[打开原文](https://www.ithome.com/1/020/026.htm)