跳到正文
原文
arXiv 自然语言处理· Yegor Anichkov, Valery Vinogradov, Andrey Furov, Marina Polukoshko, Sergey Bolovtsov·· 2 小时前AI 评分34

TenetBench:评估大语言模型遵循职业道德准则的条款锚定俄语语料库

TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics

AI 导读

研究人员推出评估大语言模型遵循职业道德准则的基准 TenetBench,包含 3,433 个与 15 部俄语职业准则冲突的请求及其良性对照样本。在对 14 种模型与推理模式组合的评测中,11 种在多数冲突请求下直接生成违规内容且大多没有警告,开启推理甚至使两款模型的拒绝率减半。

来源:arXiv 自然语言处理 · arxiv.org