Xetrieval：从机制上解释密集检索
该文介绍了论文Xetrieval: Mechanistically Explaining Dense Retrieval，提出Xetrieval框架用于从嵌入层面机制性地解释密集检索器，通过轻量级推理内化器模拟思维链推理，并将嵌入分解为可解释的稀疏特征。
机制可解释性
First-Principle 上关于「机制可解释性」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
稀疏自编码器（SAE）能否捕捉神经网络中的复杂几何结构？
本文探讨稀疏自编码器（SAE）如何表征神经网络激活空间中的弯曲几何结构。研究发现，单个SAE特征仅能提供部分视角，但组合多个特征可重建完整几何结构，并提出三种流形表示方式。
神经网络中的几何计算器：Llama模型中发现处理循环加法的模块
根据First-Principle平台2026年5月15日发布的帖子，Goodfire团队在Llama 3.1 8B模型中发现了一个通用的“加法模块”。该模块在第18层运作，能够处理如月份、星期等循环结构的加法问题。研究发现，模型并非通过逐步推理，而是将数字表示为激活空间中的圆形几何结构（傅里叶特征），通过几何操作高效完成计算。