研究团队提出多智能体模拟经营基准KiranaBench

2026年10月19日，研究人员推出多智能体基准KiranaBench，旨在测试语言模型模拟运营印度社区杂货店的能力。该基准设置了经理、收银员、帮工和记账员4个大语言模型智能体共同参与模拟经营。在对4款开源权重模型的测试评估中，所有模型的表现均远逊于固定规则基线；其中表现最佳的开源模型利润仅为基准线的八分之一，甚至有两款模型的经营效果不及完全无人管理的店铺。此外评测还显示，各模型在印地语和Hinglish（印地英语）下的沟通表现普遍弱于英语。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。