arXiv 机器学习· Manoj Bajaj·· 1 天前AI 评分34
稳态下衡量学习效果：基于 BIRD-SQL Formula 1 的案例研究
Measure Learning at Steady State: A BIRD-SQL Formula 1 Case Study
AI 导读
研究提出在长周期任务中评估上下文学习（ICL）的稳态表现，并在 BIRD-SQL formula-1 数据集上测试其探索效率、任务奖励与交付成本。在 gpt-5.6-luna 上，后期 SQL 探针次数从 4.6-5.6 次降至 0.95 次，命中率仅小幅上升，但 ICL 上下文增至约 95k tokens 且 API 成本近乎翻倍。
来源：arXiv 机器学习 · arxiv.org