arXiv 人工智能· Yibo Yang, Zerui Huang, Haomiao Yang, Zixia Wang·· 5 小时前AI 评分39
MedConstBench:评测伦理宪章如何引导 LLM 的医学伦理表现
MedConstBench: Benchmarking How Constitutions Steer LLMs in Medical Ethics
AI 导读
MedConstBench 是将部署宪章作为控制变量的医学伦理评测基准,包含临床困境数据集 MedDilemma,用于分析宪章如何引导 LLM。在 4 种宪章下评估 10 个开源 LLM 发现,其效果因模型而异且具维度选择性,无普适最优方案。研究提出的 do-no-harm 自适应选择器可在保障底线的同时为模型匹配最优宪章,并低成本泛化至未见过的模型。
来源:arXiv 人工智能 · arxiv.org