arXiv 自然语言处理· Yegor Anichkov, Valery Vinogradov, Andrey Furov, Marina Polukoshko, Sergey Bolovtsov·· 2 小时前AI 评分34
TenetBench:评估大语言模型遵循职业道德准则的条款锚定俄语语料库
TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics
AI 导读
研究人员推出评估大语言模型遵循职业道德准则的基准 TenetBench,包含 3,433 个与 15 部俄语职业准则冲突的请求及其良性对照样本。在对 14 种模型与推理模式组合的评测中,11 种在多数冲突请求下直接生成违规内容且大多没有警告,开启推理甚至使两款模型的拒绝率减半。
来源:arXiv 自然语言处理 · arxiv.org