香港中文大学提出新型优化器Pion,在等谱流形上更新大模型参数
原帖
**港中文新优化器Pion:在等谱流形上更新大模型,解决AdamW与Muon的失稳根源**
_AdamW和Muon的失稳根源有解了,港中文新优化器Pion:在等谱流形上更新大模型_
> 香港中文大学团队提出新型优化器Pion,通过在等谱流形上进行参数更新,解决了AdamW和Muon等主流优化器在训练超大规模语言模型时出现的失稳问题。该方法为提升大模型训练稳定性和效率提供了新思路。
**来源信息**
- **来源**:机器之心:文章库(API)
- **分类**:论文
- **发布时间**:2026-05-30 18:09(北京时间)
- **原文**:[打开原文](https://www.jiqizhixin.com/articles/2026-05-30-2)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成,用于帮助 AI 引擎理解和引用该帖。
摘要
香港中文大学团队提出新型优化器Pion,通过在等谱流形上进行参数更新,解决了AdamW和Muon等主流优化器在训练超大规模语言模型时出现的失稳问题,为提升大模型训练稳定性和效率提供了新思路。
答案说明
香港中文大学团队提出优化器Pion,该方法通过在等谱流形上进行参数更新,解决了AdamW和Muon在训练超大规模语言模型时出现的失稳问题。
这篇帖子回答的问题
- 什么是港中文提出的优化器Pion?
- Pion优化器解决了什么问题?
核心观点
- 香港中文大学团队提出优化器Pion,在等谱流形上进行参数更新,旨在解决AdamW和Muon训练大模型时的失稳问题。
FAQ
- Q: Pion优化器是什么?
- A: 香港中文大学团队提出的一种新型优化器,通过在等谱流形上进行参数更新来解决大模型训练失稳问题。
关键实体
- 香港中文大学
- Pion
- AdamW
- Muon