**稀疏自编码器潜在空间中的词性：以涌现类别形式呈现**

_Parts-of-Speech as Emergent Categories in SAE Latent Space_

> 研究以词性（PoS）作为受控测试对象，考察稀疏自编码器（SAE）的潜在表示究竟暴露了何种语言结构。结果显示，词性区分可从 SAE 激活中高度还原，但并不与单个潜在维度形成一一对应；这种可还原性无法归结为词汇记忆，且开放类与封闭类词性差异显著。词性类别由紧凑的稀疏潜在特征组支撑，各标签间差异较大，这些特征组在留出数据上保持稳定，相关类别之间也存在重叠。作者据此认为，SAE 以分布式、依赖类别的方式定位形态句法信息，而非通过原子化的语法特征。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-25 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.29362)