arXiv 人工智能· Aishan Liu, Yisong Xiao, Xianglong Liu, Yongxin Huang, Siyuan Liang, Zonghao Ying, Yang Qu, Jian Yang, Yaodong Yang, Dacheng Tao·· 5 小时前AI 评分33
通过转移感知奖励引导表征采样（TARGRS）实现 LLM 去毒
LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling
AI 导读
研究提出名为 TARGRS 的测试期去毒框架，通过在潜在表征空间学习毒性转移奖励，引导从粗到细的表征采样以消除毒性生成。在 10 个 LLM 的评测中，该方法在 RealToxicityPrompts 上最高将毒性降低 69.38%，同时保持接近原始模型的推理速度。TARGRS 还能扩展至 3 个代表性大型视觉语言模型（LVLM），实现最高 64.23% 的毒性降幅。
来源：arXiv 人工智能 · arxiv.org