基于对决反馈的成本感知最优大模型识别方法
针对在具有不同调用成本的大语言模型集合中筛选最优模型的需求，该研究提出了一种新型多臂老虎机（MAB）变体框架。该方法结合了基于模型成对对比的对决反馈（Dueling Feedback）与异构采样成本特性，并在假设存在孔多塞胜者（Condorcet winner）的前提下，提出了一种Track-and-Stop风格的最优臂识别算法，经多数据集验证可在控制测试成本的同时高效定位最佳模型。
推荐理由提出了一种兼顾成对对比偏好与调用成本的大模型自动化选型算法，对LLM评测和路由设计有参考价值。
原标题：Cost-Aware Best-LLM Identification using Dueling Feedback
阅读 arXiv 机器学习 原文 ↗