数据工程

SAERL框架：利用稀疏自编码器指导LLM后训练数据工程

论文提出了SAERL框架，通过稀疏自编码器提取模型内部特征，指导大语言模型后训练的数据工程。该框架建模多样性、难度和质量三个数据属性，实现批多样性控制、课程排序和数据过滤。