arXiv 自然语言处理· Nadhem Zmandar, Mo El-Haj, Paul Rayson·· 4 小时前AI 评分25
基于 Transformer 的长文档财务叙述摘要评估指标对比研究
A Comparative Study of Evaluation Metrics for Long-Document Financial Narrative Summarization with Transformers
AI 导读
针对基于预训练 Transformer 的长文档财务年报摘要，一项研究在 FNS 2020 数据集上基准测试了多种摘要方法，并系统对比了不同评估指标的表现。针对部分指标难以准确反映真实摘要能力的问题，研究提出了结合 ROUGE-2 与 BERTscore 调和平均的新指标 BRUGEscore，并通过包含三种破坏方法的对抗分析验证了其鲁棒性。
来源：arXiv 自然语言处理 · arxiv.org