arXiv 自然语言处理· Anubhav Jangra, Adrian de Wynter·· 7 小时前AI 评分35
多语言风格个性化文本生成评估指标元评估研究
Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation
AI 导读
研究人员提出一种基于回归的文本生成指标元评估框架，通过学习校准后的指标输出来预测人类评分。为验证该框架，研究团队构建了涵盖 10 种语言、4 个评估维度的多语言风格个性化文本生成（SPTG）基准，并在 40 个评估设置下测试了来自基于字符串、基于 embedding 和 LLM-judges 三类范式的 32 种指标及其集成。
来源：arXiv 自然语言处理 · arxiv.org