**NLP 中的标注者是谁？2018 至 2025 年间人类标注报告的大规模评估**

_Who Annotates in NLP? A Large-scale Assessment of Human Annotation Reporting between 2018 and 2025_

> 本文对 2018 年至 2025 年 NLP 顶级会议论文中的人类标注报告实践进行了首次大规模审计，构建了标注报告实践分类法，并使用 LLM 辅助提取管道分析了 1,603 篇论文中的 2,667 个标注任务。研究发现，尽管论文常报告招聘策略、标注者专业知识和标注量等操作细节，但常常遗漏了评估标注有效性所需的信息，如培训、语言能力、报酬、社会人口统计、裁决和一致性指标等。研究提出了可扩展的框架和最低报告建议，以使人类标注更可靠、可重复和可解释。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.02255)