AI Agent Guide Interactive
第一阶段 · Prompt Engineering 4 个动手实验台 TypeScript / Anthropic SDK

Prompt Engineering:从会提问到会约束模型

很多人把 Prompt Engineering 理解成“如何和 AI 说话”,但一进工程场景就发现:明明写得很清楚,输出却时好时坏。本质上,Prompt 不是在跟模型聊天,而是在用文字构造上下文,把下一个 Token 的概率分布收拢到你期望的边界内。

30 秒速览 · 本章 3 个核心工程判断
  1. 01 先分清锅该谁背:格式硬约束交给 Schema,外部事实交给 RAG,Prompt 只负责把表达和边界收拢。
  2. 02 Temperature 拉高会放大低概率违规词,长 Prompt 里把关键格式约束放在首尾才能避免被中间稀释。
  3. 03 反话与复杂分类优先用覆盖边界的 Few-shot;用户输入拼进模板必须隔离边界,防止代码围栏闭合注入。
图 1 · Prompt 的底层作用:收拢下一个 Token 的概率分布 原理示意图
模糊的自由提问 “帮我看看这段代码” 发散概率分布 缺少边界约束 • 输出长篇教学散文(无法解析) • 直接重写整份代码(偏离需求) • 时而 JSON 时而 Markdown(不稳定) 结构化上下文 角色 + 规范 + Few-shot + 首尾格式约束 概率收拢 高权重锁定目标区域 ✓ 落在期望输出边界内 格式可控、风格一致、可直接进入后续校验

Prompt 不是在“和模型商量”,而是用结构化上下文压缩无效候选词的采样空间。

先诊脉再下药:Prompt 解决不了的问题

遇到输出翻车别急着在 Prompt 里叠“千万不要”。下面 4 个真实线上故障,先点选一个试试你的第一反应会怎么处理。

Interactive Clinic · Capability Boundaries

Prompt 边界急诊室:这个锅该谁背?

点选一个真实的线上翻车现场,再选择你的第一反应处理方案,看看系统会发生什么。

选择你的处理方式:
图 2 · 遇到输出问题时的工程边界决策流 架构分流
模型输出翻车 先定位根因类型 语气、风格、推理链或边界示例缺失? ★ Prompt Engineering(本章) 缺少私有文档、公司业务或最新数据? RAG 检索增强 JSON 结构必须 100% 可解析不报错? Zod / JSON Schema 兜底 需要调工具、跨轮记忆或长窗口压缩? Context 工程 / Agent Loop 模型升级后旧 Prompt 行为发生漂移? 自动化 Prompt 回归评测

Google 和 Kaggle 发布的 Prompt Engineering 白皮书 梳理了采样、Few-shot、CoT 与 ReAct 等核心方法。先通过上面的分流图确认问题属于 Prompt 的职责,再动手调优,才不会在错误方向上越写越乱。

为什么同一个 Prompt 输出会不一样

哪怕一字不改,同一个 Prompt 连续跑 5 次也可能吐出 5 种结果,甚至冲破格式约束。先猜一猜,再在骰子机里把 Temperature 拉高试试。

先猜一下 让模型给耳机起一个“不超过 4 个汉字、不要标点”的名字,用 temperature: 0 和 temperature: 1 各跑 5 次,会发生什么?
抓到关键了。在下面实验台把 Temperature 拉高到 1.0 以上你会看到:低概率的异常候选词(比如带标点或超长英文后缀)一旦被拉高权重,不仅输出不稳定,还会直接破坏格式约束。
Interactive Lab 01 · Token Sampling Dice

采样骰子机:把 Temperature 拉高,看看什么时候开始翻车

拖动参数并点击“投掷采样 5 次”,观察红色违规 Token 如何在高温度下混进结果(模拟概率分布,用于建立采样直觉)。

测试任务:给一款耳机起名:音质出色,但续航只有 3 小时。
System 约束:只输出一个产品名,不超过 4 个汉字,不要标点,不要解释,不要列多个选项。
Temperature 0.0
Top-K 截断 7
Top-P 核采样 1.0
候选词概率分布(红色为超长/带标点违规词)
逐次采样结果(共 5 次)
查看 TypeScript 源码:01-temperature.ts(滑块参数已同步)
examples/ai-coding/prompt-engineering/01-temperature.ts
GitHub 源码 ↗
import Anthropic from "@anthropic-ai/sdk";

const client = new Anthropic();

async function generate(temperature: number) {
  return client.messages.create({
    model: process.env.MODEL!,
    max_tokens: 50,
    temperature,
    system: "只输出一个产品名,不超过 4 个汉字,不要标点,不要解释,不要列多个选项。",
    messages: [{ role: "user", content: "给一款耳机起名:音质出色,但续航只有 3 小时。" }],
  });
}

// 当前实验参数:temperature = 0.0
const response = await generate(0.0);
const textBlock = response.content.find((b) => b.type === "text");
console.log(textBlock?.type === "text" ? textBlock.text : "");

LLM 预测下一个 Token 时是在词表概率分布上采样:Temperature 控制分布陡峭程度,Top-K 限制只从前 K 个候选词里抽,Top-P(核采样) 保留累计概率达到 P 的头部词。工程上,分类、提取与结构化输出建议从 temperature: 0 起步,创意发散再调到 0.7 ~ 1.0;Top-K 和 Top-P 大多数场景保持默认即可。

工程提醒 · 思考模式对采样参数的限制
DeepSeek-V4-Pro 等模型开启思考模式时,temperature、top_p 等采样参数会被忽略。需要测试 Temperature 影响时,应在请求里显式关闭思考模式(thinking: { type: "disabled" }),具体以 DeepSeek 思考模式文档 为准。

结构化 Prompt 与位置效应

长 Prompt 里约束写在哪里,结果差异很大。试着点击下面的 ↑ / ↓ 把 [核心格式约束] 挪到 3,000 字长规范中间,看看模拟的 JSON.parse() 会发生什么。

Interactive Lab 02 · Block Assembler & Lost in the Middle

Prompt 积木装配台:挪动约束位置,亲眼看它炸掉或恢复

用 ↑ / ↓ 调整各模块顺序,或开启“结尾再重复一次格式要求”,观察 U 形注意力曲线与模拟 JSON 解析结果。

调整模块顺序(点击 ↑ / ↓)
注意力 U 形曲线与解析结果(模拟) Liu et al., 2023 启发
格式约束注意力
--
模拟 JSON 解析
--

正如上面 U 形曲线展示的,斯坦福大学和 Meta AI 在 Lost in the Middle 来源:Liu et al., 2023 ↗ 中证实:长上下文里,模型对开头和结尾注意力最高,中间信息最容易被稀释。工程上应将 Prompt 拆成 System Prompt(角色、规范与格式约束) 和 User Message(动态输入),组合运用 System / Role / Contextual Prompting,并把关键格式要求放在开头与结尾。

从 Zero-shot 到 Few-shot,再到 Chain of Thought

面对“真是太棒了,充一晚上电还是 0%”这种反话评论,直接问往往翻车。自己勾选示例试试,再切到 Tab 2 对比三种推理输出通道。

Interactive Lab 03 · Few-shot Builder & CoT

Few-shot 选例工作台与 CoT / Thinking 对比

自己勾选要放进 Prompt 的示例,测试“讽刺反话评论”什么时候会被正确识别,什么时候会翻车(模拟输出)。

1. 勾选放进 Prompt 的示例
待测输入:“真是太棒了,充一晚上电还是 0%。”
2. 实时判定结果(模拟)
查看 TypeScript 源码:02-few-shot.ts
examples/ai-coding/prompt-engineering/02-few-shot.ts
GitHub 源码 ↗
import Anthropic from "@anthropic-ai/sdk";

const client = new Anthropic();

const prompt = `将用户评论分类为:正面、中性、负面。

示例:
评论:“音质很好,性价比高。”
分类:正面

示例:
评论:“产品一般,没什么特别的。”
分类:中性

示例:
评论:“等了两周才到,打开还没电,真是太惊喜了。”
分类:负面

请分类:
评论:“这款耳机音质不错,但续航太差了。”
分类:`;

const response = await client.messages.create({
  model: process.env.MODEL!,
  max_tokens: 20,
  temperature: 0,
  messages: [{ role: "user", content: prompt }],
});
测试题:“我 3 岁时,我的搭档年龄是我的 3 倍。现在我 20 岁,我的搭档多大?”
1. 直接回答 ~12 Tokens
60 岁。(容易被“3 倍”误导,直接用 20 × 3)
耗时最低,但多步计算或逻辑陷阱题极易出错,且看不出哪里算错了。
2. CoT(Prompt 引导) ~78 Tokens
1. 我 3 岁时,搭档是 3 × 3 = 9 岁 2. 年龄差是 9 - 3 = 6 岁 3. 现在我 20 岁,搭档是 20 + 6 = 26 岁 最终答案:26 岁
推理过程写在正文里,计入输出 Token,便于工程师人工排查步骤。
3. 原生 Thinking 模式 双 Block 返回
[thinking / reasoning_content 块] 3 岁时搭档 3×3=9 岁,差值恒定为 6 岁。20+6=26 岁。
[text 块] 26 岁。
解析响应时需用 content.find(b => b.type === "text"),不能硬取 content[0]。
图 3 · Prompt CoT 与原生 Thinking 模式的返回通道差异 架构对比
Prompt CoT 技巧 追加“请一步步思考” LLM 推理 单一 text 正文流 [推理步骤 + 最终答案] 混在一起,按输出 Token 计费 原生 Thinking 模式 直接写清任务与验收标准 内置思考 双通道输出 Block 0:thinking / reasoning_content(独立思考块) Block 1:text(最终答案,用 find(b => b.type === "text") 提取)

Few-shot 的关键不在例子多,而在质量与边界覆盖:分类任务记得打散顺序,刻意放 1~2 个反话或边界案例。多步推理方面,CoT(Wei et al., 2022、Kojima et al., 2022)通过提示词让步骤出现在正文里;而内置思考模式(如 DeepSeek reasoning_content、Claude thinking 块,见 Claude 扩展思考文档)会返回独立思考块,对这类模型不必机械追加“请一步步思考”。

指令优先、进阶模式与模板安全

把用户输入直接拼进 Prompt 函数模板会有多危险?先在下面沙盒里点一下恶意 userCode,看看代码评审助手是怎么被劫持的,再开启防护拦住它。

Interactive Lab 04 · Prompt Injection Sandbox

攻防演练:尝试攻破你自己的 buildReviewPrompt

选择一段提交给代码评审助手的 userCode,观察没有边界隔离时,恶意输入如何闭合代码块并劫持模型输出(模拟攻防)。

最终发给模型的 Prompt 载荷

          
模型评审结果(模拟)

          
查看 TypeScript 模板函数:buildReviewPrompt.ts
buildReviewPrompt.ts
function buildReviewPrompt(code: string, language: string, rules: string[]): string {
  return `你是一个 ${language} 代码评审专家。

评审规范:
${rules.map((r, i) => `${i + 1}. ${r}`).join("\n")}

请评审以下代码,只输出问题列表,每条用 JSON 格式:

\`\`\`${language}
${code}
\`\`\``;
}
图 4 · ReAct 模式:从单次 Prompt 走向 Agent Loop 闭环流程图
1. Thought 推理 判断缺什么信息 2. Action 调工具 搜索 / 查库 / 跑测试 3. Observation 把结果写回上下文 信息足够? 输出最终答案 信息不足则继续下一轮推理(Agent Loop 雏形)

日常工程落地还有三条收口准则:指令优先,约束为辅(直接写要什么,少堆“不要……”)、按需选用进阶模式,以及给 Prompt 留版本变更记录。

✕ 堆叠否定约束

不要输出多余解释。
不要加前言。
不要使用 Markdown 格式。
不要超过 30 个字。

✓ 正向指令优先

用一句话总结核心结论,使用日常语言,纯文本格式,不超过 30 个字。

Step-back Prompting

遇到复杂问题先退一步问宏观原理,再把答案作为上下文去解具体任务。

Step-Back 论文 ↗

Self-consistency

同一推理 Prompt 多次采样取多数票,适合有明确答案的任务,代价是成本翻倍。

Self-consistency 论文 ↗

ReAct 模式

把推理(Reasoning)与工具行动(Acting)放进同一个循环,是 Agent 的基础结构。

ReAct 论文 ↗
prompts/defect-extractor.md(版本变更记录模板)
## Prompt 版本 v1.2
- 目标:从用户评论中提取产品缺陷,输出 JSON 数组
- 模型:DeepSeek-V4-Pro | Temperature:0
- 测试结果:正常评论通过;讽刺语气评论偶发误判;空输入返回 []
- 修改记录:
  - v1.0 → v1.1:去掉“不要输出解释”,改为“只输出 JSON 数组”,稳定性提升
  - v1.1 → v1.2:补充 2 个带讽刺语气的 Few-shot 边界例子

Prompt Engineering 是一门知道边界、并在边界内精耕的技术。结构分离、位置效应、正向指令、防注入隔离与版本文档化,这几条用顺手之后就会变成工程直觉。但正如开篇边界急诊室看到的,单靠文本提示无法给输出格式提供 100% 确定性保证。下一章将进入结构化输出实战,使用 Zod 和 JSON Schema 在代码层面为模型输出兜底。