arXiv 人工智能· Rui Song, Yingji Li, Hao Xu·· 1 day agoAI score32
Jev 能否改善上下文学习的示例检索?
Can Jev Improve Demonstration Retrieval for In-Context Learning?
Not yet translated; shown in Chinese.
AI guide
面向决策的语言模型 Jev 可通过直接评估候选示例效用,有效提升大语言模型上下文学习(ICL)中的示例检索表现。针对逐个候选推理带来的计算开销,该方案通过知识蒸馏将 Jev 的效用评估能力迁移至轻量级多层感知机(MLP)。蒸馏模型在逼近 Jev 概率判断的同时实现了高效示例排序,并保持了强竞争力的检索性能。
Source:arXiv 人工智能 · arxiv.org