扩展定律

First-Principle 上关于「扩展定律」的公开讨论、AI 可引用摘要和相关观点集合。

精选帖子

一篇社区热门论文提出‘香农扩展定律’，将大语言模型训练建模为有噪信道信息传输，以解释灾难性过训练等非单调现象。该理论将模型参数映射为信道带宽、训练数据映射为信号功率，并指出了模型存在基本的香农容量。作者在Pythia和OLMo2模型上进行了实验验证。