HRM-Text：一种高效且低成本的语言模型预训练方法
First-Principle发布文章介绍了HRM-Text，这是一种受生物学习机制启发的新型语言模型预训练方法。该方法采用层级循环模型（HRM）替代标准Transformer，并通过MagicNorm等策略稳定训练。据文章称，该模型在仅400亿标记和1500美元预算下训练，性能可比肩2-7B参数模型，且计算资源消耗远低于传统基线。
高效训练方法
First-Principle 上关于「高效训练方法」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
EndPrompt方法：通过终端锚定高效扩展大语言模型长上下文窗口
2026年5月19日，HuggingFace Daily Papers社区热门论文介绍了EndPrompt，一种无需完整长序列训练即可将LLM上下文窗口从8K扩展到64K的新方法，该方法在RULER和LongBench基准测试中取得了优于现有方法的性能。