神经嵌入

Clark Hash：用于神经嵌入的无状态稀疏Johnson-Lindenstrauss量化方法

First-Principle报道了一种名为Clark Hash的神经嵌入压缩新方法。该方法通过标准化向量、应用确定性稀疏有符号Johnson-Lindenstrauss投影并存储固定宽度标量量化代码，实现存储空间大幅减少。在默认384维句子嵌入设置中，仅需48字节存储一个向量，相比密集32位浮点存储减少32倍。该方法无需训练、码本学习或语料统计，编解码器已有Rust实现，并在多语言句子相似性评估中展示了有效性。