从 Prompt 到 Loop

把 AI Agent 变成可验证的业务工作流

第十六课 · 机器学习与自然语言处理
郑思尧 · 上海交通大学国际与公共事务学院

最后一讲不再讲什么

Already covered

什么是 Agent

第五讲已经讲过 ReAct、工具、记忆、规划；第九讲也讲过从 LLM 到 agent loop。

Already covered

怎么写 Prompt / Skill

第四讲讲 Prompt 骨架，第九讲讲 SKILL.md、输出契约、验证步骤。

Already covered

要不要人工复核

从文本分类、多模态识别、客服工单、商品评论、运营数据到自动化脚本，我们已经反复讲过。

今天的新问题是：如何把这些组件组织成一个能持续推进、留下证据、接受检查、迭代变好的业务系统。

全课已经给过的零件

前面讲过	它解决什么	最后一讲怎么用
Prompt	把任务标准写给模型。	不再当作一次性文本，而是 loop 的入口合同。
Skill	把反复使用的流程写成可复用规程。	作为 loop 的操作手册和执行边界。
Agent	让模型能调用工具、执行多步任务。	作为 loop 中的行动者，而不是整套系统本身。
Swarm / Team	多个 agent 如何并行、轮转、汇聚。	作为复杂 loop 的组织方式，而不是新概念重点。
人工复核	防止幻觉、偏误、过度解释。	升级为明确的检查器、阈值、停止条件和记录。

Part 1 / 5什么是 Loop Engineering？

一句话定义

Loop Engineering 是把目标、状态、行动、检查、修正和交付物连成一个能重复运行、能留下证据、能接受评估的业务系统。

不是更长的 Prompt

Prompt 只告诉模型这一步怎么做；loop 规定每一步之后如何检查、保存、重试和停止。

不是更强的模型

模型强弱只是一个变量。真正让结果可信的是状态记录、评估器、证据链和人工接管。

不是完全自动化

很多好 loop 的关键恰恰是知道什么时候必须停下来，让业务负责人判断。

从聊天窗口到业务系统

Chat

一次性问答

Prompt

任务标准

Skill

可复用规程

Agent

工具行动者

Loop

检查与改进

Workflow

课程项目交付

最后一讲的层级比前面更高：不是问“AI 能不能做这一步”，而是问“这个项目能不能被反复运行、被别人检查、被团队持续改进”。

为什么 2026 年大家开始说 Loop

工程侧：单次生成不够了

Agent 能写代码、查资料、跑脚本、调用浏览器之后，真正难的不是生成第一版，而是让它知道何时失败、如何重试、何时交给人。

业务侧：只展示最终答案不够了

企业场景需要输入来源、权限边界、KPI、成本、延迟、错误处理和可追踪记录。AI 越能代劳，越要保留过程。

参考：Addy Osmani, Loop Engineering; LangChain, The Art of Loop Engineering.

一个 Loop 的六个部件

Goal

目标

要产出什么，不产出什么

State

状态

工单、版本、指标、日志

Action

行动

检索、分类、路由、生成、执行

Check

检查

规则、eval、人工质检

Revise

修正

补样本、改 prompt、改工具

Stop / Ship

停止/交付

预算、质量门、人工确认

每轮检查之后，回到状态或行动，而不是顺手继续跑

如果缺少检查和停止条件，loop 就会退化成“让 Agent 一直忙”。如果缺少状态记录，loop 就会退化成“看起来做过很多事，但没人知道哪些事有效”。

Loop Engineering 的四种常见形态

形态	核心问题	业界项目里的对应物
Agent loop	下一步该调用什么工具？	查知识库、读 CRM、写 SQL、调用工单系统、生成回复。
Verification loop	这一步结果能不能信？	质检抽样、引用证据、低置信转人工、错误类型记录。
Event-driven loop	什么时候自动触发？	新工单、新订单、日报定时任务、Webhook、告警触发。
Hill-climbing loop	如何让下一版比上一版更好？	根据质检和 KPI 改 prompt、工具、路由、知识库和 dashboard。

这四类来自 LangChain 对 loop engineering 的工程总结；课堂上按企业落地项目重新转译。

前面讲的是 Agent Loop，今天重点是外层 Loop

Inside

Agent 内循环

读输入、思考、调用工具、观察工具结果、继续下一步。第五讲和第九讲已经讲过。

Outside

业务外循环

设定业务目标、保存运行记录、检查样本、比较版本、修正规则、判断是否上线或回滚。今天讲这个。

最常见错误：把“Agent 跑完了”误认为“业务可上线了”。Agent 完成的是内循环，团队要负责外循环。

Part 2 / 5从工程资料到课堂方法

OpenAI 的 Agent Improvement Loop

Trace

记录

保存 agent 执行轨迹

Review

复盘

人或模型标注失败点

Eval

评估

把失败转成测试

Improve

改流程

prompt / tool / harness

Run

再运行

比较新旧表现

Promote

交付

保留版本和证据

失败样本被写成下一轮评估，不是被讲成经验

这套逻辑很适合改写成企业项目流程：不是“我让 AI 做了一遍”，而是“我看了它错在哪里，然后把错误变成下一轮的检查规则”。

参考：OpenAI Cookbook, Agent Improvement Loop.

Anthropic 的提醒：先分清 Workflow 和 Agent

类型	适合什么	课堂翻译
Workflow	步骤可预先写清楚，控制流稳定。	客服工单分流、发票字段抽取、内容审核初筛。
Agent	路径开放，需要模型自己决定下一步。	故障排查、竞争情报、销售线索挖掘、多来源资料追踪。
Hybrid	大框架固定，但局部需要自主探索。	最适合期末作业：固定交付物 + 局部 agent 探索或外部系统调用。

不要为了“像 AI Agent”而把所有事情都交给 Agent。企业里最可靠的自动化，往往是固定流程 + 局部智能 + 明确复核。

参考：Anthropic, Building effective agents.

Evaluator-Optimizer：最像企业质检的一种模式

Generator

生成第一版回复、工单标签、销售摘要、SQL、图表或报告。

Evaluator

按标准检查：是否符合业务规则、有没有证据、是否越权、字段是否完整、格式是否可落库。

课堂转译：不要让同一个模型“随便夸自己”。Evaluator 要有业务规则、金标准样本、失败案例，最好还要有人类抽检。

业界项目正在进入这个阶段

Agent

执行完整 workflow

OpenAI 的 agent 指南把 agent 定义为能代表用户完成任务的系统，而不是单次回答。

Guardrail

明确工具和边界

业务系统要限制可读数据、可调用工具、可执行动作，以及何时必须交给人。

Handoff

在流程中交接责任

复杂业务常见做法是 triage agent 判断问题，再交给销售、支持、财务或人工处理。

这意味着最后一讲不能停留在“AI 很方便”。业界真正需要的是：把业务规则、系统权限、质量门和交付责任写进 AI 工作流。

参考：OpenAI, A practical guide to building agents.

高阶系统给我们的启发

系统	它做了什么	课堂只拿走什么
Reflexion	用语言反思总结失败，写进记忆，影响下一次尝试。	失败不是结束，而是下一轮规则的一部分。
Self-Refine	生成、反馈、修订反复进行，不一定需要额外训练。	报告第一版不重要，重要的是反馈标准能不能固定。
Voyager	在开放环境中探索，把有用行为保存成 skill library。	好工作流会积累可复用技能，而不是每次从零开始。
AlphaEvolve	把生成、评估、选择、变异连成算法搜索系统。	只有当评估器清楚时，自动改进才可能可靠。

Part 3 / 5业界项目里的五类 Loop

五类 Loop：对应期末项目的五种工作

客户声音

工单、评论、反馈、需求聚合。

知识库

接入、更新、检索、权限控制。

内容风控

定义平台规则、初筛、抽检、修规则。

业务分析

SQL、指标、图表、异常解释。

交付上线

测试、发布、监控、回滚。

一个好项目不一定五类都用。关键是选出你真正需要循环改进的部分，把它写清楚。

Loop 1：客户声音与需求洞察

错误做法

把一批客服工单、商品评论或用户访谈丢给 AI，让它直接总结“用户最关心什么”。

Loop 做法

限定时间窗和渠道；让 agent 提取问题类型、情绪、产品模块、证据片段；人工抽查高频类和边界样本；把漏分问题写进下一轮规则。

输入

行动

检查

产物

工单 + 评论 + 访谈摘要

聚类、打标签、提取代表原文

抽查高频类、低频类和负面样本

voc_insights.csv

Loop 2：知识库与数据接入

状态记录

数据源、同步时间、文档版本、权限范围、失败请求、去重规则。

检查器

文档是否过期、字段是否缺失、重复率是否过高、检索是否越权。

停止条件

达到刷新窗口、错误率超过阈值、权限不明、需要业务 owner 确认。

知识库 loop 最怕“能搜到就用”。没有来源、权限、版本和刷新日志的知识库，不应该直接接进业务 agent。

Loop 3：内容审核与风控规则

Define

定义规则

允许、拒绝、灰区、反例

Pilot

试审样本

人工 30-100 条

Run

模型初筛

标签 + 原文 + 置信

Audit

抽样质检

误杀、漏放、边界样本

Revise

修规则

新增灰区和例外

Report

报告误差

FP/FN 和升级路径

误杀和漏放进入下一轮规则，灰区要能升级

内容审核、舆情分级、交易风控、简历初筛都不能只给一个分类器。它们需要平台规则、样本、质检、升级和回滚路径。

Loop 4：模型分析

普通分析	Loop 化之后
让 AI 写一次 SQL 或分析一次 Excel。	保存数据快照、查询语句、指标定义、版本和输入 hash。
挑一个看起来顺眼的阈值。	比较多个阈值，记录 KPI 和业务结论是否改变。
展示一张主图。	主图 + 分母说明 + 样例行 + 异常点解释。
让 AI 解释结果。	让 AI 先列可能解释，再要求每条绑定日志、订单、工单或标注为猜测。

Loop 5：交付与上线

runbook.md

触发条件、输入、工具、人工升级路径。

quality_gate.csv

每个质量门对应样例、阈值和处理动作。

qa_checklist.md

权限、成本、延迟、错误、拒答逐项核验。

release_notes.md

版本变化、已知限制、监控指标和回滚条件。

交付 loop 的目标不是让 demo 更好看，而是让每个自动化行为都能被测试、监控、暂停和追责。

Part 4 / 5期末项目怎么写成 Loop

期末作业的最小 Loop 合同

Project Loop Contract 1. 目标：我要回答什么问题？最后交付什么？ 2. 输入：工单/评论/日志/图片/网页/CRM/知识库从哪里来？ 3. 行动：Agent 或模型具体做哪几步？ 4. 状态：中间结果保存在哪里？如何命名？ 5. 检查：我用什么标准判断它对不对？ 6. 修正：出错后改 prompt、改规则、补样本、改工具，还是人工接管？ 7. 停止：什么时候算完成？什么时候必须承认做不了？ 8. 产物：课堂展示时给哪些表、图、原文、日志、质检结果或业务样例？

路径 A：业务分析项目

普通说法

“我收集了一些商品评论，让 AI 帮我分类，发现质量问题很多。”

Loop 说法

“我先定义 8 类投诉原因，抽取 1,000 条评论，人工试标 60 条，LLM 批量分类后每类抽检 15 条，并把误分样本写进第二版规则。”

两者可能用了同一个模型，但第二个能被检查，能被复现，也能被评分。

路径 B：Agent 工具项目

工具要交代	不要只说	要展示
任务边界	“它能处理客服工单。”	只处理哪些渠道、哪些字段、哪些情况拒绝输出或升级人工。
输入契约	“上传文件即可。”	CSV/Markdown/图片的字段、格式、样例。
输出契约	“生成报告。”	固定列名、图表路径、证据片段、错误日志。
质量门	“有人工复核。”	抽检规则、低置信处理、什么时候暂停。

学生项目里最该保存的 8 类证据

raw_sample/

原始工单、评论或日志小样本，保留来路。

input_table.csv

进入模型前的可复查输入。

prompt.md

任务标准、业务规则、反例。

run_log.jsonl

时间、模型、参数、工具结果。

outputs.csv

模型输出，保留证据片段。

review_set.csv

人工质检样本和错误类型。

dashboard/

图表、SQL 和生成脚本路径。

limitations.md

不能自动处理哪些场景，风险在哪里。

一个可用的运行日志长什么样

字段

例子

为什么要有

课堂展示

run_id

2026-06-23-support-v2

区分版本，不混淆输出。

可以展示 2-3 个关键版本。

model

gpt-4.1 / claude / GLM

结果依赖模型，必须说明。

写进方法页。

input_hash

sha256:...

确认输入是否变了。

不用全讲，但要保存。

check_result

pass / needs_review

说明不是直接交付。

展示一页质量门。

检查器不是一句“人工复核”

弱检查	强检查
“我看了一下，感觉还行。”	每个类别随机抽 10 条，记录正确、错误、边界和升级动作。
“让 AI 自己检查一遍。”	AI 检查必须引用原始工单、业务规则或知识库段落；人工抽查是否漏错。
“结果和预期差不多。”	列出一个反例集，看模型是否仍然过度自信。
“老师看报告应该能懂。”	方法页能让另一个小组复刻最小版本。

停止条件：什么时候不要继续跑

证据不够

关键业务结论没有原文、图表、日志或可追踪输出支撑时，停止写结论，回到材料。

误差太集中

某类样本系统性错，不能只报总体准确率，要重写规则或缩小结论。

任务越界

从辅助建议滑向自动退款、封号、招聘筛选、金融医疗建议等高风险动作时，必须人工接管。

把 Loop 映射到评分标准

评分项	Loop 里怎么看	展示证据
选题与构思 10	目标是否真实，输入是否适合，任务边界是否清楚。	Project Loop Contract 第一页。
分析与展示 30	行动、检查、修正是否真的发生，不只是描述计划。	数据表、图表、输出样例、review_set。
理解与反思 20	知道 loop 哪里不可靠，知道何时停止，知道结论边界。	错误类型、反例、限制说明。

一页方法段可以这样写

本项目将 2,400 条电商客服工单整理为 input_table.csv，字段包括 id、渠道、产品线、时间、原文和清洗后文本。第一轮人工阅读 60 条，形成 8 类问题规则，并写入反例。随后使用 LLM 逐条输出类别、证据片段和置信说明。复核时每类随机抽取 15 条，另抽取全部低置信样本，记录误杀、漏分和边界样本。第二轮将“物流延迟”和“库存缺货”的边界写入排除规则后重新分类。最终报告只解释高一致性类别的占比和趋势，不把短期波动直接解释为产品质量变化。

这一段不华丽，但它能让人知道：你做了什么、怎么查错、哪里不说过头。

一页结果页应该同时有四样东西

结论

一句话说明主要发现。

图表

比例、趋势、差异或网络结构。

代表材料

工单、评论、日志片段或模型输出样例。

误差说明

哪些样本最容易错，哪些流程不能自动化。

没有代表材料的图表容易空；没有误差说明的 AI 业务报告容易显得太确定。

Part 5 / 5Loop 的风险与边界

Loop 会制造新的失败模式

失败模式	看起来像什么	怎么防
假完成	Agent 交了一个完整报告，但中间没有证据。	交付前必须检查 artifact 清单。
错误累积	第一步抽错，后面每一步都在错的基础上优化。	前置小样本人工核验，关键字段先查。
模型自评失灵	Evaluator 给 Generator 高分，因为两者共享同样盲点。	加入反例集、人工抽检、外部资料核验。
成本失控	为了“再好一点”不断重跑。	设预算、轮数、样本上限和停止条件。
上下文污染	上一轮错误结论被带入下一轮，越改越像真。	保留原始输入，必要时从干净状态重跑。

人在环，不等于人在负责

人在流程图里

只是在最后点击确认，没有时间、上下文、权限和停用按钮。出事后容易变成背锅人。

人在判断链里

知道系统边界，能看到证据，能要求重跑，能推翻输出，能记录不同意见。

上一讲讲的是责任边界；今天把它落到工作流设计：人工节点要有信息、权限和记录。

什么时候不要设计成 Loop

任务太小

只需要改一句话、算一个简单比例、查一个明确事实时，loop 的开销比收益大。

评估器不存在

如果你完全不知道什么算对，自动迭代只会让系统更自信，不会让它更可靠。

敏感边界太高

个人隐私、身份推断、未授权材料、真实高风险决策，不适合为了自动化而扩大处理范围。

业务问题还没想清

Loop 可以放大执行力，但不能替你决定什么问题值得解决、用什么指标衡量。

课堂练习：15 分钟写一个 Loop

第 1 步

写出你的期末项目目标：一句话业务问题 + 一个交付物。

第 2 步

列出 input、action、artifact：AI 到底读什么、做什么、留下什么。

第 3 步

写出 check、revise、stop：怎么查错，错了怎么办，何时停止。

一句话模板：我的项目不是“用 AI 分析 X”，而是“把 X 输入到一个由 A、B、C 三步组成的 loop；每轮产出 Y；我用 Z 检查它；当 W 发生时停止或人工接管。”

可以直接放进期末简报的结构

页码	标题	内容
1	场景	业务流程、用户痛点，为什么值得用 ML/NLP 或 Agent。
2	数据	系统来源、样本量、筛选规则、权限和限制。
3	Loop 设计	输入、行动、检查、修正、停止条件。
4	结果	KPI + 图表 + 表格 + 代表样例。
5	质检	抽检样本、错误类型、边界样本、升级规则。
6	上线判断	收益、成本、风险、不能自动化的部分、下一步如何改。

最后的阅读路线

想追的问题	读什么	读法
Loop Engineering 是什么	Osmani; LangChain	看概念和工程形态，不照搬热词。
怎样改进 Agent	OpenAI Agent Improvement Loop	看 trace、feedback、eval、harness 的闭环。
Agent 怎么搭	Anthropic Building effective agents	看 workflow 与 agent 的分界。
Agent 如何落地业务	OpenAI Practical guide to building agents	看 workflow、tool、guardrail、handoff。
理论底座	ReAct, Reflexion, Self-Refine, Voyager	看行动、反思、修订和技能积累。

不要只说“我用了 AI”。
要说“我设计了一个可检查的业务 Loop”。

输入是什么，Agent 做什么，产物在哪里，谁来检查，错了怎么改，什么时候停止。
这就是从使用工具，走向设计业务工作流。

资料链接

工程与官方资料

Addy Osmani, Loop Engineering
LangChain, The Art of Loop Engineering
OpenAI Cookbook, Agent Improvement Loop
Anthropic, Building effective agents

行业与系统资料

OpenAI, A practical guide to building agents
ReAct · Reflexion · Self-Refine · Voyager
DeepMind, AlphaEvolve