ROLLBACK DESIGN
回退设计
Agent 出错不可怕,可怕的是出错了没人发现、没法回退。上线前先设计好三道防线。
调研发现38% 的参与者还没有设计过回退流程
DECISION TREE
该不该自动化?
Agent 输出错了,人能在 5 分钟内发现吗?
THREE PATTERNS
三种兜底模式
👁
人工复核模式
Human-in-the-Loop
Agent 生成结果,人审核确认后才生效。适合中等风险、需要专业判断的场景。
工作流程
Agent 输出 → 指定审核人收到通知 → 审核人确认/修改/拒绝 → 结果才发出
👤
影子模式
Shadow Mode
Agent 和人同时处理同一个任务,但只有人的结果生效。用来观察 Agent 表现、积累数据。
工作流程
任务进来 → Agent 和人分别处理 → 只采用人的结果 → 事后对比差异
🔴
熔断机制
Kill Switch
设置错误率阈值,超过就自动切回人工。适合已上线但需要保底的场景。
工作流程
Agent 运行 → 持续监控错误率/用户投诉 → 超过阈值自动停用 → 全部转人工
PRE-LAUNCH CHECKLIST
上线前演练清单
1
谁负责审核 Agent 输出?
指定具体的人(不是「团队」),明确每天审核几次。
2
发现错误后多快能切回人工?
目标:5 分钟内完成切换。如果需要 IT 支持才能切,那太慢了。
3
升级路径是什么?
Agent 出了严重错误,谁来决定停用?通知链路是什么?
4
人工流程还能跑吗?
上了 Agent 之后,原来的人工流程不能废掉。至少保留 2 周并行期。
5
怎么衡量 Agent 表现?
准确率、响应时间、用户满意度 — 至少选一个可量化的指标。