**研究证实:1.7B 规模语言模型无需可训练输入嵌入表** _Do Language Models Need a Trainable Input Embed
原帖
**研究证实:1.7B 规模语言模型无需可训练输入嵌入表**
_Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale_
> 该研究对比了使用可学习嵌入表与固定最小令牌代码(16-bit 及 GF(2) 编码)的解码器语言模型。实验表明,固定代码模型在 HellaSwag 等基准上展现出显著能力,虽略逊于可学习模型,但证明了独立可训练的令牌特定输入向量并非获得基础语言能力所必需。此方法去除了约 1 亿可训练参数,为研究不可变输入下的表示学习提供了新视角。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.04002)