arXiv 机器学习· Michal Podstawski·· 3 小时前AI 评分37
GraphLLM 报告的性能提升能否经受住简单基线的检验？
Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?
AI 导读
在文本属性图节点分类任务中，简单基线 Correct & Smooth 仅落后 GraphLLM 报告均值中位数 2.3 个百分点，24 个任务中有 15 个差距在 3 个百分点以内。虽然在 22 个任务中 GraphLLM 仍在 12 个显著占优，但多篇论文存在测试集调参、测试标签泄露等评估风险。此外，相同方法在不同论文中的结果差异最高达 12.5 个百分点。
来源：arXiv 机器学习 · arxiv.org