面向多向量嵌入模型的 Token Pooling 感知训练
面向多向量嵌入模型的 Token Pooling 感知训练可让编码器在向量合并时保留关键信息，从而在相同存储预算下提升检索质量。普通训练的模型在 pool_factor=4 时保留未池化 NanoBEIR nDCG@10 的 94.6%，文档向量减少 4 倍；感知训练将保留率提升到 97.8%。文章还介绍了 HierarchicalTokenPooling 的池化预算选择与自适应池化阈值校准方法。
面向多向量嵌入模型的 Token Pooling 感知训练可让编码器在向量合并时保留关键信息，从而在相同存储预算下提升检索质量。普通训练的模型在 pool_factor=4 时保留未池化 NanoBEIR nDCG@10 的 94.6%，文档向量减少 4 倍；感知训练将保留率提升到 97.8%。文章还介绍了 HierarchicalTokenPooling 的池化预算选择与自适应池化阈值校准方法。