arXiv 自然语言处理· Bhuvan Arora, Ankita Karmakar, Chaitanya Jain, Dilesh Churiwal, Harshit Jain, Shivansh Manish Dubey, Manish Prasad, Raja Piyush, Kshitij Tayal, Dhruv Kumar, Jagat Sesh Challa, Raunak Manekar, Yash Sinha·· 4 小时前AI 评分43
KiranaBench：语言模型能否经营一家社区便利店？
KiranaBench: Can a Language Model Run a Neighbourhood Shop?
AI 导读
研究人员推出多智能体基准 KiranaBench，通过经理、收银员、帮工和记账员 4 个大语言模型智能体模拟运营印度社区杂货店。评测 4 款开源权重模型发现，所有模型表现均远逊于固定规则基线，最佳模型利润仅为基线的八分之一，甚至有两款模型表现不如无人管理的店铺，且印地语和 Hinglish 的沟通表现普遍低于英语。
来源：arXiv 自然语言处理 · arxiv.org