**Liquid AI 提出无需从头训练即可扩展大语言模型分词器的方法**

_Tokenizer Expansion: Upgrading a Model's Tokenizer in Place_

> Liquid AI 分享了将 LFM2.5-8B-A1B 模型的词表从 65K 扩展至 128K 的技术方案。该方法在不重新训练模型的前提下，通过延续 BPE 合并规则并复用原有嵌入向量，显著降低了印地语、越南语和泰语的 token 数量，使这些语言在设备端的解码速度提升了 2.2 至 3.7 倍，同时保持了原有语言的处理质量。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-07-21 23:58（北京时间）
- **原文**：[打开原文](https://www.liquid.ai/blog/tokenizer-expansion)