mongona

mongona
-- --
正在获取天气

Agent 接进后端之前,先把评测放进发布流程

演示跑通以后,才开始算账

美团技术团队最近发布了《Agent评测白皮书》系列的第二篇,讨论商家 AI 助手的评测。基于公开摘要可见,文章拿巡检任务做案例,涉及业务 Benchmark、评测器校准、错误分析,以及借助图灵支撑持续回归和模型选型。摘要没有展开具体实现,下面说的是我对这类系统落地的判断。

我更关心的是,换了模型或提示词以后,谁来确认昨天能办的事今天还办得成。普通接口升级,有响应字段和测试断言可对照;Agent 即使正常返回,也可能漏查一个对象,或者拿过期信息给出很像样的结论。请求成功,在这里实在算不上验收。

先把“巡检完成”说清楚

假设要做一个店铺配置巡检助手,我会先让业务同事写清楚:它要检查哪些配置,哪些情况只能提醒,哪些操作需要人工确认。这是举例,不是原文披露的方案。如果任务边界没写清,模型回答得再流畅,评测也容易变成“看着挺像那么回事”。

测试样例也不能全是顺手的情况。比如配置缺失、读取接口超时,或者同一字段在两个系统里不一致。遇到这些输入,助手肯停下来说明无法判断,可能比硬给结论更合格。对维护服务的人来说,可预期的失败通常比漂亮的错误答案好处理。

判卷的人也可能看走眼

摘要提到了评测器校准,这一点很实际。如果用另一个模型给答案打分,它也可能偏爱措辞完整、语气肯定的回复。结果答得越像报告,分越高;真正谨慎的回答反而吃亏。分数看着涨了,业务风险却未必下降。

我会先留一小批人工确认过的样例,专门检查自动评分与人工判断冲突的地方。涉及工具调用时,能直接核对的事实就直接核对:查的是不是目标对象,参数是否越权,失败后有没有继续执行。这些判断不必都交给模型。至于解释是否清楚,再用人工抽查补上。

回归测试得跟着部署走

把评测只当成选模型的排行榜,有点可惜。提示词调整、知识更新、工具接口变更,都可能改变一次任务的结果。我倾向于把业务样例放进发布流程,变更前后跑一遍,出错时能定位到当时使用的版本和工具返回。否则线上只剩一段最终回复,排查时很难知道错在哪。

还得给评测算成本。整套样例每次都跑,未必适合小团队;可以先让高风险场景挡住发布,其他样例定期补跑。这里没有通用的样例数量,应该看一次误操作会造成什么损失,以及团队有没有人维护这些用例。没人更新的测试集,很快就会与真实业务脱节。

如果准备把 Agent 接进已有后端,我会先让它只读运行,保留调用记录,再拿真实失败补充回归样例。等确认它知道什么时候该停,才考虑开放写入。比起急着挑一个榜单分数更高的模型,这样更容易判断自己到底敢交给它什么工作。

本文由本站基于公开热点摘要整理和原创分析生成。原文:《Agent评测白皮书》系列02:商家 AI 助手的评测与优化闭环实践(美团技术团队)。

请我喝咖啡

感谢支持,我会继续更新更有用的技术内容。

打赏二维码
请我喝咖啡 如果内容帮到了你,可以赞赏支持继续更新。
赏
Category
Tags
Site statistics

本站现有文章326篇,共被浏览220924次

本次响应耗时: 0.374s

当前来路IP: 216.73.217.86  

您是本站第: 393141 位访客!

本站已苟活: 

Commercial
开发者产品赞助位开放

适合 AI 工具、云服务、课程、开源项目和招聘团队。

查看合作方案
All hots
Article archiving
Mongona Radio
等待播放