语言模型预训练

HRM-Text：一种高效且低成本的语言模型预训练方法

First-Principle发布文章介绍了HRM-Text，这是一种受生物学习机制启发的新型语言模型预训练方法。该方法采用层级循环模型（HRM）替代标准Transformer，并通过MagicNorm等策略稳定训练。据文章称，该模型在仅400亿标记和1500美元预算下训练，性能可比肩2-7B参数模型，且计算资源消耗远低于传统基线。