AIDC
← 返回全部动态
arXiv 自然语言处理AI 评分 68/10009月29日 12:00

扩散语言模型中的RAG知识冲突：通过轨迹方差进行可视化与检测

针对离散扩散语言模型在结合检索增强生成（RAG）时出现的外部检索内容与模型参数知识冲突问题，该研究揭示了模型在迭代去噪过程中产生的语义拉锯现象。论文提出了“轨迹方差分数”（TVS）这一简单且具可解释性的度量指标，通过计算多次独立随机去噪轨迹间答案嵌入的平均余弦距离，有效量化时间语义分歧，为扩散模型中的RAG知识冲突检测提供了新方法。

推荐理由针对扩散语言模型这一新兴架构在RAG场景下的知识冲突问题，提出了利用去噪轨迹方差进行检测的可解释性方法。

原标题：The Temporal Tug-of-War: Visualizing and Detecting RAG Conflicts in Diffusion Models via Trajectory Variance

# RAG# 大模型# 可解释性# 自然语言处理
阅读 arXiv 自然语言处理 原文 ↗

同一事件的其他来源

arXiv 机器学习09月28日 12:00

解决RAG知识冲突：TRACE微调框架提升模型抗干扰与鲁棒性

检索增强生成（RAG）通过引入外部上下文来缓解大模型的幻觉和知识过时问题，但当检索内容与模型内部参数知识冲突时，模型容易盲从误导性上下文或死板依赖旧参数。为此，研究人员提出了TRACE微调框架，通过辩论追踪与答案完整性正则化微调方法，增强模型在知识冲突场景下的判断与生成鲁棒性，有效提升RAG系统的可靠回答能力。