**OPTIC：通过跨层潜在向量量化实现层嵌入的极端压缩**

_Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization_

> 针对 Transformer 模型中随计算扩展而增长的嵌入容量需求，本文提出了 OPTIC（Output-Path-fitted, Token-shared Indexed Codes）方法，旨在对逐层嵌入（PLE）进行极端压缩。与传统量化器不同，OPTIC 为每个 token 存储一个共享的量化码元，并在每一层通过特定的仿射解码器进行解码，从而将压缩率提升至 BF16 的约 100 倍，同时在不同基准测试中保留了 97.8% 的原始模型性能，显著优于现有最强基线。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-10-27 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.31309)