大语言模型训练

线学训练控制治理：LBW-Guard优化器治理层提升LLM训练稳定性

本文提出Learn-by-Wire Guard（LBW-Guard）训练控制治理层，通过在AdamW优化器之上监控训练遥测数据并施加有界控制，提升大规模语言模型训练的稳定性与效率。实验显示，在7B参数设置中，该治理层将困惑度降低18.7%，训练加速1.10倍。