**Fairness Pruning：通过差分激活定位GLU-MLP层中的人口统计偏见**

_Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations_

> 该研究提出Fairness Pruning方法，一种轻量级结构干预技术，用于在大语言模型中定位和管理人口统计偏见。通过在GLU架构的down\_proj输入端捕获推理时激活，该方法能识别对人口统计属性产生差异化反应的神经元。实验表明，零化最多40个神经元（仅占Llama-3.2-1B模型MLP宽度的0.031%以下）即可显著改变模型对偏见的响应，同时保持99.49%的推理和通用知识能力。研究发现偏见处理与模型能力运行于可分离的电路之上，为从盲目剪枝转向定向行为调控奠定了方法论基础。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-31 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.28319)