AIDC
← 返回全部动态
arXiv 机器学习AI 评分 63/10009月28日 12:00

解决RAG知识冲突：TRACE微调框架提升模型抗干扰与鲁棒性

检索增强生成（RAG）通过引入外部上下文来缓解大模型的幻觉和知识过时问题，但当检索内容与模型内部参数知识冲突时，模型容易盲从误导性上下文或死板依赖旧参数。为此，研究人员提出了TRACE微调框架，通过辩论追踪与答案完整性正则化微调方法，增强模型在知识冲突场景下的判断与生成鲁棒性，有效提升RAG系统的可靠回答能力。

推荐理由针对RAG应用中常见的参数知识与外部上下文冲突痛点提出了实用的微调解决方案，对RAG工程优化有一定参考价值。

原标题：Parameters vs. Context: TRACE Fine-Tuning for Robust Retrieval-Augmented Generation

# RAG# 微调# 大模型# 自然语言处理
阅读 arXiv 机器学习 原文 ↗

同一事件的其他来源

arXiv 自然语言处理09月29日 12:00

扩散语言模型中的RAG知识冲突：通过轨迹方差进行可视化与检测

针对离散扩散语言模型在结合检索增强生成（RAG）时出现的外部检索内容与模型参数知识冲突问题，该研究揭示了模型在迭代去噪过程中产生的语义拉锯现象。论文提出了“轨迹方差分数”（TVS）这一简单且具可解释性的度量指标，通过计算多次独立随机去噪轨迹间答案嵌入的平均余弦距离，有效量化时间语义分歧，为扩散模型中的RAG知识冲突检测提供了新方法。