arXiv 机器学习· Nickil Maveli, Antonio Vergari, Shay B. Cohen·· 6 小时前AI 评分35
大语言模型是在合成还是检索？AlgoREval 评测算法代码检索能力
Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
AI 导读
研究团队推出评测大语言模型算法代码检索能力的基准 AlgoREval，包含覆盖 14 个领域 77 种经典算法、7 种编程语言与 4 种图输入表示的 599 道题目。对 15 个 7B–34B 参数模型的零样本评测显示，检索准确率在不同语言间差异显著，提示词增强可改善复杂算法表现。实验表明 SFT 能带来更广泛的语言提升，而 GRPO 在特定语言上的增益更大。
来源：arXiv 机器学习 · arxiv.org