**稀疏自编码器的不稳定特征与可复现子空间：理解种子依赖性**

_Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders_

> 稀疏自编码器（SAE）广泛用于解释神经网络表征，但其效用依赖于特征在不同训练运行间的可复现性。大规模研究揭示了一种功能不对称性：稳定特征承载大部分重建与预测信号，而不稳定特征仅具有微弱边际影响，主要由低频表面形式触发。几何上，不稳定特征虽个体不可复现，却集中于可复现的低秩子空间，表明种子依赖性常反映激活空间中共享区域内的基模糊性，而非纯噪声。通过汇集跨种子特征，可构建更稳定的SAE同时保持解释方差。这些结果表明不稳定特征并非失败或噪声潜变量，而是反映了标准SAE因种子不同而以不同方式分解的可复现低维结构。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.12138)