arXiv 自然语言处理· Kai Ponel, Marco Polignano, Erasmo Purificato, Aylin Julia Temizkan, Marco Levantesi, Giovanni Semeraro, Ernesto William De Luca·· 8 時間前AI スコア35
平衡分层表示与量化：文本嵌入中的性能权衡
Balancing hierarchical representation and quantization: A performance trade-off in text embeddings
未翻訳のため中国語で表示しています。
AI ガイド
一项基于 MTEB 的基准研究表明，文本嵌入模型结合 8 倍降维与 int8 量化可在保留 94.4% 基准效果的同时实现 32 倍单向量存储缩减。在涵盖 38 项任务的测试中，int8 量化整体最多损失 1.5 个百分点，效果与 float32 相当，而二值量化在所有任务中均显著劣化。此外，从中间层采样能显著缩短评估耗时，且检索任务的性能衰减远快于其他类别。
出典：arXiv 自然语言处理 · arxiv.org