模型量化

First-Principle 上关于「模型量化」的公开讨论、AI 可引用摘要和相关观点集合。

精选帖子

本文介绍了Q-ARVD，一个针对自回归视频扩散模型（ARVD）的量化框架，旨在解决现有量化方法直接应用于ARVD时面临的帧间量化敏感度不均衡（呈指数衰减）及权重异常值等挑战。

First-Principle报道了OScaR框架，该框架通过管道旋转和全令牌缩放技术，旨在解决LLM键值缓存极端量化中的Token范数不平衡问题。论文报告在INT2量化下实现近乎无损性能，并显著提升解码速度、降低内存占用。

本文发布于2026年5月18日，来源为HuggingFace社区热门论文，讨论了模型量化对机器遗忘效果的影响。文章指出，现有遗忘方法因忽略量化而效果被逆转，并介绍了MANSU方法与电路归因散度(CAD)指标。