一句话
Hugging Face 提出一种训练方法,让多向量检索模型在文档向量被压缩后依然保持较高的检索准确率。
要点
- 为什么要压缩
ColBERT 等多向量模型给文档每个 token 存一个向量,百万级文档库能堆出上亿个向量,存储压力很大。
- 怎么压缩
方法是把相似的 token 向量合并成一个,压得越狠,细节丢得越多,这就是训练要解决的矛盾。
- 训练效果
新方法让模型学会在向量被压缩后仍保留关键信息,同样压缩四倍,检索准确率保留比例从 94.6% 提到 97.8%。
登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?