“人在回路中”常被写成一句抽象的安全原则,但真正落地时,团队需要知道人应该在哪一步出现、看到什么信息、谁有权批准,以及拒绝后流程如何继续。
一个实用的分工是:让 AI Agent 负责准备、整理、生成和检查,让人负责有后果的决定。这样既能减少重复劳动,也不会把责任交给一个无法承担责任的系统。
三个判断条件
动作是否难以撤销
生成一份草稿可以重做,删除生产数据却可能无法恢复。可逆动作可以提高自动化程度;不可逆动作应设置更严格的确认、备份和审批。
是否影响客户、资金或法律责任
内部分类错误可能只需要返工,对客户公开发布错误价格、自动退款或作出合同承诺,则可能立刻产生商业后果。影响范围越大,越需要由明确的责任人决定。
是否超出预先授权
即使动作本身风险不高,只要超出了当前任务、数据范围、金额阈值或工具权限,也应暂停。Agent 不应自行扩大授权来“顺利完成任务”。
一张可直接使用的审批表
| 工作步骤 | Agent 可以做什么 | 人需要决定什么 |
|---|---|---|
| 数据读取 | 读取已授权文件和字段 | 是否允许接入新的数据源 |
| 内容生成 | 生成商品描述、回复或报告草稿 | 是否满足品牌、事实和合规要求 |
| 质量检查 | 标出缺失字段、异常和不一致 | 异常是否可以接受,是否补充信息 |
| 导出 | 生成预览文件或待发布清单 | 是否把结果交给外部系统 |
| 发布与发送 | 准备发布内容和收件人列表 | 是否公开发布或批量发送 |
| 交易动作 | 计算建议、整理依据 | 是否付款、退款、改价或下单 |
| 数据变更 | 生成变更计划和差异 | 是否删除、覆盖或迁移生产数据 |
| 权限变更 | 提示缺少权限 | 是否授予更高权限或更长授权期 |
审批界面应提供哪些信息
只显示一个“同意”按钮并不够。批准人至少应看到:
- 要执行的具体动作和影响对象;
- 使用的数据与来源;
- Agent 已完成的检查;
- 已发现的异常和未解决问题;
- 执行后是否可以撤回;
- 批准人、时间与后续记录方式。
如果这些信息不完整,审批会变成走过场。好的审批点应该让人能够快速判断,而不是重新做一遍 Agent 已经完成的工作。
不同风险使用不同控制方式
低风险:抽样复核
例如内部标签、初步分类或草稿格式化。可以自动运行,并按比例抽查结果。当错误率升高时,再收紧流程。
中风险:异常触发人工接管
例如商品字段检查或客服回复草稿。正常项目继续处理,缺失数据、低置信度、规则冲突或敏感主题自动进入人工队列。
高风险:逐项明确审批
例如发布、改价、退款、付款、删除、批量消息、权限提升和对外承诺。Agent 可以准备材料,但不应默认越过批准人。
OpenAI 的 Agent 指南把失败阈值和高风险动作列为人工介入的重要触发点。NIST AI RMF Playbook 则提供了从治理、识别、衡量到管理风险的实践方向。两者共同说明:人工控制应该在流程设计阶段定义,而不是事故发生后临时补上。
审批不是唯一的安全措施
人工审批仍可能误点,因此还要配合最小权限、金额或数量阈值、预览环境、操作日志、可恢复备份和分阶段发布。对于批量任务,可以先运行小样本,确认格式和边界后再扩大范围。
同时要定义失败路径:批准被拒绝后,是回到哪一步修改?数据缺失时由谁补充?超过等待时间后是否自动取消?这些规则让流程在异常情况下仍然可控。
DoPilot 的产品边界
DoPilot 在公开说明中把发布、改价、退款、付款、删除、批量消息、对外承诺和其他不可逆动作列为需要明确授权与人工审批的边界。当前 Desktop 仍处于私有预览,具体数据路径和企业交付范围会在产品事实确认后说明,不应从演示界面推断为已完整交付。
团队可以先选一个真实流程,把每一步标为“自动运行、异常时接管、逐项审批”三类。完成这张表,往往比先讨论使用哪个模型更能决定自动化是否安全有效。
来源与延伸阅读
常见问题
人工审批会不会让自动化失去意义?
不会。Agent 仍可完成资料收集、草稿生成、字段检查和差异说明,人只处理少数有后果的决定。这样通常比整段流程都由人手工完成更高效。
哪些动作不应默认无人值守?
付款、退款、改价、发布、删除、批量消息、权限提升和对外承诺等动作,不应在缺少明确授权和人工审批时自动执行。