60天企业 AI 实战训练营 · 第 7 周 · Agent 工程

Agent Planning
与 Human-in-the-loop

可以自主分析,关键动作必须人点头 —— 可执行、可验证、可中断的计划

Day 35 讲师 · 包学斌 2026 · 09 含实操 · 请自带电脑
goal 处理 A102 退款 plan 1 查单 2 查政策 3 预览 4 执行 ⏸ 审批门 操作/影响/依据 人批准才继续 执行 + 审计 幂等 + trace 计划可执行、可验证、可中断 高风险动作,人工是最后一道闸

按 → 或 空格键 翻页 · F 全屏

今天这堂课解决什么问题

课程目标

01
把"想法"变成"计划"
Plan 是可执行、可验证、有终止条件的显式对象,不是模型脑子里的一段推理。
02
执行、观察、有限重规划
每步留痕;用可量化的目标达成度决定继续、修正还是终止,Replan 最多 3 次。
03
设计审批门与人工接管
按风险分级插入审批;审批界面给足证据;超时默认拒绝,不是默认通过。
它在 60 天课程中的位置
Day 33 · 多 Tool 路由、串并行调用已完成
Day 34 · Memory、Session 与上下文管理已完成
Day 35 · Agent Planning 与 Human-in-the-loop今天
Day 36 · 身份、权限、RBAC 与数据安全下一课
Day 37 · AI 审计日志与可追溯性下周
Agent 会查、会记、会组合工具了;今天教它"先想清楚再做",以及"什么时候必须停下来问人"。
互动 · 举手投票 + 点击选择

Agent 自动退了 9999 元,根因最可能在哪?

凭直觉点一个 —— 这决定了你该修模型还是修架构

点一个选项,看看它意味着什么 →
01
Part 01

先想清楚
再动手

Plan 是显式对象:每步用什么工具、输入什么、怎样算完成

ReAct Plan-and-Execute 终止条件
Part 01 · 循环

Agent 的四拍:计划、执行、观察、重规划

点一次走一拍 —— 注意:观察不是"看一眼",是拿标准去比对

① Plan
拆步骤 + 选工具
→
② Execute
调工具 + 落日志
→
③ Observe
目标达成度
→
④ Answer
带证据输出
达成 → 输出
完成标准满足,带来源与引用回答;不要"再想想",避免过度调用。
不足 → 重规划
换工具、补查询、向用户澄清;Replan 要改输入,不能原样重跑。
失败 → 降级/转人工
明确说"缺哪块数据",给 trace_id;不编造、不假装完成。
没有终止条件的循环,就是一台烧 token 的永动机。
Part 01 · 模式

ReAct 与 Plan-and-Execute,怎么选?

ReAct
边想边做,走一步看一步
✓ 灵活,适合探索型任务、信息不完整
✓ 每步都能根据结果调整
✗ 路径不可预知,审计与复现难
✗ 容易绕圈,步数与成本不可控
Plan-and-Execute
先出计划,再按步执行
✓ 计划可评审、可审批、可回放
✓ 步数与预算可控,适合企业流程
✗ 前期计划可能不准,需要 Replan
✗ 对开放式探索不如 ReAct 灵活
选 ReAct
问题边界不清、需要边查边判断、失败成本低。
选 Plan-and-Execute
流程相对固定、有写操作、需要审批与审计。
混合
先出粗计划,每步内用 ReAct 探索;审批门放在计划层。
Part 01 · 质量

好计划的四个标准,缺一个就会"即兴发挥"

① 可执行
每步有工具和参数
"分析一下"不是步骤;get_order(A102) 才是。
② 可验证
有完成标准
"拿到 refund_id 且金额一致"可判断;"用户满意"不可判断。
③ 有终止
成功/失败/超时
任一校验失败就停;最多 8 步;超时转人工。
④ 有预算
步数/时间/token
预算写进计划,执行器强制执行,不靠模型自觉。
✗ 坏计划
1. 分析一下退款问题
2. 处理相关数据
3. 给用户一个满意答复
没有工具、没有输入输出、没有完成定义 —— 执行时只能靠模型即兴发挥。
✓ 好计划
1. get_order(A102) → 状态 PAID
2. check_policy(order, paid_at) → eligible
3. preview_refund(order, amount) → 待审批
4. create_refund(..., approval_token) → refund_id
互动 · 快问快答

三句话,测你会不会做计划

1. 计划越细越好,最好把每个 token 都规划好?
过细的计划又贵又脆;计划到"可执行的一步"即可,细节交给执行器。
不是
2. 计划一次生成,就必须照着走完?
观察发现偏离就要 Replan;但重规划要改输入、限次数,不能原样重跑。
不是
3. Agent 说"已完成",就是完成了吗?
要用可验证的外部结果判断:refund_id 存在、金额一致、状态已变。不是看它说了什么。
不是
计划的终点不是"做完了",是"可验证地做对了"。
实操 ① · 8 分钟 + 讲评 3 分钟

把一个模糊目标拆成可执行计划

1
打开 demo/plan_lab.py。目标:"处理 A102 的退款申请"。
2
补全 PLAN:每步写 tool、args_from(参数从哪来)、done_when(完成标准)。
3
运行校验器:它会检查工具是否存在、参数是否齐、依赖顺序是否合理、是否有终止条件。
4
再跑一遍"坏计划"样例,看校验器如何指出"分析一下"不是可执行步骤。
08:00
验收三条
□ 4 步都能映射到已注册工具
□ 每步有 done_when
□ 计划里有审批门与失败终止
讨论:哪一步必须人工确认?为什么不是每一步都确认?
02
Part 02

执行要留痕
观察要有尺

每步 step_id · 工具 · 参数 · 结果;用标准判断,不靠"感觉完成"

step trace 目标达成度 Replan ≤ 3
Part 02 · 执行

执行不是"调个函数",是一条可回放的记录

{ "step_id": 3, "action": "preview_refund", "args": {"order_id": "A102", "amount": 1847.00}, "status": "waiting_approval", "result": {"preview": "退款 1847 元至原账户", "reversible": false}, "started_at": "10:02:41", "elapsed_ms": 86, "parent_span_id": "sp_2" }
① 副作用前先预览
写操作先把"将发生什么"返回给上层/用户,再执行;不要先斩后奏。
② 每步独立超时
一步卡死不能拖垮整条链;超时进入 observe,判失败或降级。
③ 结果结构化
统一 status/data/message/trace_id;模型和执行器读同一份结构。
反模式:执行失败只 print 一行日志,然后继续下一步 —— 错误会累积到最后,根因找不回来。
Part 02 · 观察

观察不是"看一眼",是拿标准去比对

检查 1
数据完整性
该拿到的字段有没有拿到?空结果算"查到了 0"还是"没查到"?
检查 2
业务一致性
订单状态与支付记录是否矛盾?退款金额是否超过可退金额?
检查 3
目标达成度
完成标准满足了几条?还差哪条?能不能用下一 步补齐?
checks = { "has_refund_id": bool(result.refund_id), "amount_match": result.amount == expect, "status_updated": state.status == "REFUNDED", } missing = [k for k, ok in checks.items() if not ok] if missing: replan(reason="missing:" + ",".join(missing)) else: finish()
用代码判断,不用模型"感觉"
目标达成度是布尔/数值判断,写成函数、可单测;模型只负责解释结果。
自评偏差:让 Agent 自己说"我完成了吗",它往往倾向于说"完成了"。外部检查器才是裁判。
Part 02 · 重规划

Replan:改计划,不是重跑计划

什么时候该 Replan
证据不足
关键字段缺失,当前工具拿不到 → 换数据源或向用户澄清。
前提变化
订单状态已变,原计划的后续步骤不再适用。
工具失败
主工具不可用 → 切备用工具;永久错误不重试,直接改路。
三条硬约束
① 最多 3 次,超了转人工;② 每次必须改变输入/工具/目标之一,否则判"绕圈";③ 每次记录 reason 与 diff,计划版本可回放。
replan_count += 1 if replan_count > 3: return escalate("REPLAN_LIMIT", trace_id=trace_id) if new_plan.signature == old.signature: return escalate("LOOP_DETECTED", trace_id=trace_id)
计划版本:plan_v1 → plan_v2 的 diff 要留档;审批时看的是"当前版本",不是最初版本。
实操 ② · 10 分钟 + 讲评 4 分钟

跑一次"观察失败 → 重规划 → 停止"

1
打开 demo/observe_lab.py。计划有 4 步,第 2 步"查政策"会返回空。
2
先跑一遍:看 observe 如何判定"证据不足",以及第 3 步是否被正确短路。
3
补全 replan():换用 check_policy_v2;如果仍失败,第二次就转人工。
4
再跑一遍,确认:只重规划一次、diff 有记录、最终给出明确的失败原因与 trace_id。
10:00
验收三条
□ 失败步骤之后不再执行
□ Replan 换了工具而不是重跑
□ 最终输出含 trace_id 与缺失项
追问:如果第二次也失败,你会让 Agent 继续试第三次吗?为什么?
03
Part 03

关键动作
必须人点头

风险分级 → 审批门 → 人工接管;超时默认拒绝

风险分级 审批门 双人复核 可中断
Part 03 · 分级

先分级,再决定"谁来批、批几次"

L1 · 只读
查询订单、检索制度、计算金额 —— 无副作用,可自动执行,留日志即可。
自动
L2 · 低风险写
创建草稿、加备注、生成工单 —— 可撤销、影响小;自动 + 事后抽检。
自动 + 抽检
L3 · 高风险写
退款、改价、下单、改地址 —— 有资金/履约影响;单人在线审批。
单人审批
L4 · 不可逆
删除、对外发送、付款、权限变更 —— 双人复核 + 冷静期/可撤销窗口。
双人复核
分级依据:能否撤销 × 资金影响 × 影响范围。三者任一为"高",就至少 L3。
Part 03 · 审批

审批门:让人"看得懂才批得了"

审批界面四件套
① 操作
Agent 想做什么:工具、参数、目标对象。
② 影响
金额、对象、不可逆性、影响范围(一单/一批/全租户)。
③ 依据
引用了哪条政策、哪笔支付、哪个订单状态;带 source 与 as_of。
④ 可撤销路径
批准后多久内可撤回、怎么撤、撤回会不会有副作用。
四个"假审批"反模式
① 只显示"是否批准",不显示金额与对象;② 超时默认通过;③ 审批人看不到依据,只能信 Agent;④ 批量审批 100 条,没人真的看。
粒度选择
逐笔审批最安全但最慢;可按"金额阈值 + 风险等级"混合:小额自动、大额逐笔、同类批量抽检。
原则:审批是"知情决策",不是"点一下免责"。审批记录要能回答"他当时看到了什么"。
Part 03 · 接管

Human Override:人随时可以改、跳、停

修改
改中间结果
人把参数从 9999 改成 1847,再继续执行;修改要留痕。
跳过
跳过某步
数据已线下确认,跳过重复查询;跳过原因必须记录。
终止
立即停止
发现方向错了,终止整个任务;已执行步骤要能回滚/补偿。
接管
人接过来做
Agent 转人工工单,把人做过的动作也写进同一条 trace。
POST /agent/tasks/{id}/interrupt {"action": "terminate", "reason": "金额异常", "operator": "zhang"} // 返回当前步骤、已完成动作、可回滚点 // 终止不是删记录:trace 保留,状态标 CANCELLED
接管后的动作同样要审计
人改了什么、跳过了什么、为什么 —— 与 Agent 动作同标准记录。
没有中断能力的 Agent,只能等它跑完再收拾残局。中断 API 要在第一天就设计。
实操 ③ · 10 分钟 + 讲评 5 分钟

给八个动作分风险,插审批门

1
打开 demo/hitl_lab.py。八个动作已列出:查单、查政策、建草稿、加备注、退款、改地址、删除记录、对外发邮件。
2
补全 classify():按"可撤销 × 资金 × 范围"给 L1–L4,并决定审批方式。
3
跑三种场景:批准、拒绝、超时。确认拒绝与超时都不执行,且原因可读。
4
检查审计:每条决策都要有 operator、timestamp、依据摘要、trace_id。
10:00
验收四条
□ 8 个动作分级合理
□ L3/L4 都有审批门
□ 超时 = 拒绝
□ 每条决策可回放
关键:审批门的位置在"执行前",不是"执行后补签字"。
04
Part 04

计划是
审计对象

计划版本、每步 trace、谁批的、依据是什么 —— 全链路可回放

plan.json trace 审批记录
Part 04 · 可观测

出问题时,要能回答"计划怎么变成现在这样"

对象 1
Plan 版本
plan_v1 → v2 的 diff:加了哪步、删了哪步、为什么。审批看的是当前版本。
对象 2
Step Trace
step_id、工具、参数、结果、耗时、parent_span_id;失败步骤标红。
对象 3
审批记录
谁、何时、看到什么、批/拒/改、一次性的 approval_token。
{ "task_id": "t_7f2a", "plan_version": 3, "replans": [{"from": 2, "to": 3, "reason": "policy_empty", "diff": "check_policy → check_policy_v2"}], "approvals": [{"step": 4, "operator": "zhang", "decision": "approved", "token": "ap_7c21"}], "final_status": "COMPLETED", "trace_id": "tr_9f21" }
可回放的最低标准:给我 trace_id,我能重建"当时模型看到了什么、计划是什么、人批了什么"。
Part 04 · 度量

Planning 与 HITL 的四个指标

指标 1
任务成功率
端到端完成且结果可验证,不是"看起来完成"。目标 ≥ 85%。
指标 2
人工干预率
多少任务需要人介入;太低可能审批缺失,太高说明 Agent 不好用。
指标 3
误批 / 漏批率
抽查审批记录:批了不该批的、漏了该批的;这是审批设计的质量指标。
指标 4
平均步数 / 成本
步数异常升高通常意味着路由错或循环;成本和延迟一起看。
Golden Set 怎么覆盖 Planning
除了"答对没有",还要标注"计划是否包含必需步骤""是否在该审批处停下""失败时是否短路"。20 条起步,含 5 条应转人工。
最常见的假指标
只看"Agent 说完成了"的比例。没有外部验证的完成率,越看越乐观。
Part 04 · 复盘 · 互动讨论

三大血泪坑

1
计划写得太抽象
"分析一下""处理数据""给个满意答复"—— 没有工具、没有输入输出,执行时只能即兴发挥。
2
审批流于形式
只显示"是否批准"、批量点通过、超时默认通过;审批人看不到金额与依据,签字等于免责。
3
没有终止条件
Agent 在"查不到→换关键词→再查不到"之间循环;Replan 不限次数,token 烧完才停。
课堂讨论 · 2 分钟
"既然审批这么麻烦,能不能让 Agent 先执行,出了问题再回滚?"
答案:不能,回滚不是免费的
退款可以冲正,但客户已经收到钱、财务已经记账、发票已经开出;对外发送的邮件撤不回。不可逆动作必须"事前审批",不能靠"事后回滚"。
总结

今天你带走了什么

计划
Plan 是显式对象,不是"心里的想法"
计划
四个标准:可执行/可验证/有终止/有预算
计划
流程固定用 Plan-and-Execute,探索用 ReAct
执行
每步 step_id / 工具 / 参数 / 结果
执行
写操作先预览,再执行
观察
用代码检查目标达成度,不用模型自评
重规划
Replan ≤ 3 次,且必须改变输入/工具
重规划
同签名重跑 = 绕圈,直接转人工
HITL
L1 自动 / L2 抽检 / L3 单人 / L4 双人
HITL
审批四件套:操作/影响/依据/可撤销
HITL
超时默认拒绝;人可改、可跳、可停
审计
plan 版本 + trace + 审批记录,可回放
"能自主分析,但不擅自行动。"
课后作业 · 明日预告

给你们的一个流程,画出计划与审批门

作业 1 · 可执行计划
选一个真实流程(退款/采购/变更),写出 4–6 步计划:每步工具、参数来源、完成标准、失败处理。
作业 2 · 风险分级表
把计划中的动作按 L1–L4 分级,标注审批方式、审批人、超时策略;找出一个"看起来低风险其实不可逆"的动作。
作业 3 · 阅读
OWASP Top 10 for LLM Applications 的 Excessive Agency 条目;预习认证与授权:JWT、RBAC、行级权限。
明日预告 · Day 36
身份、权限、RBAC 与数据安全
Agent 会规划、会审批了,但"它能看什么数据、以谁的身份看"还没解决。明天讲认证、授权、最小权限与数据隔离 —— 权限永远不在 Prompt 里。
讲师 · 包学斌

谢谢 · Q&A —— 实操问题随时在群里 @ 包学斌

Day 35 · Agent Planning 与 Human-in-the-loop · 包学斌
1 / 25