Hex 分享用评测驱动开发将 AI 错误率降低 7 倍的实践经验

Hex 团队通过建立 1,800 个用例的评测集并利用编码智能体进行爬山优化，将 Quick Edits 功能的错误编辑率从 21% 降至 3%。团队发现超过 50% 的性能提升来自模型外围的验证器容错与属性描述重构，而非单纯修改提示词；同时保留约 40% 的留出集和单用例 10 次采样可有效避免智能体过拟合与评估噪声。