Prompt 不是在“和模型商量”,而是用结构化上下文压缩无效候选词的采样空间。
先诊脉再下药:Prompt 解决不了的问题
遇到输出翻车别急着在 Prompt 里叠“千万不要”。下面 4 个真实线上故障,先点选一个试试你的第一反应会怎么处理。
很多人把 Prompt Engineering 理解成“如何和 AI 说话”,但一进工程场景就发现:明明写得很清楚,输出却时好时坏。本质上,Prompt 不是在跟模型聊天,而是在用文字构造上下文,把下一个 Token 的概率分布收拢到你期望的边界内。
Prompt 不是在“和模型商量”,而是用结构化上下文压缩无效候选词的采样空间。
遇到输出翻车别急着在 Prompt 里叠“千万不要”。下面 4 个真实线上故障,先点选一个试试你的第一反应会怎么处理。
点选一个真实的线上翻车现场,再选择你的第一反应处理方案,看看系统会发生什么。
Google 和 Kaggle 发布的 Prompt Engineering 白皮书 梳理了采样、Few-shot、CoT 与 ReAct 等核心方法。先通过上面的分流图确认问题属于 Prompt 的职责,再动手调优,才不会在错误方向上越写越乱。
哪怕一字不改,同一个 Prompt 连续跑 5 次也可能吐出 5 种结果,甚至冲破格式约束。先猜一猜,再在骰子机里把 Temperature 拉高试试。
temperature: 0 和 temperature: 1 各跑 5 次,会发生什么?
拖动参数并点击“投掷采样 5 次”,观察红色违规 Token 如何在高温度下混进结果(模拟概率分布,用于建立采样直觉)。
import Anthropic from "@anthropic-ai/sdk";
const client = new Anthropic();
async function generate(temperature: number) {
return client.messages.create({
model: process.env.MODEL!,
max_tokens: 50,
temperature,
system: "只输出一个产品名,不超过 4 个汉字,不要标点,不要解释,不要列多个选项。",
messages: [{ role: "user", content: "给一款耳机起名:音质出色,但续航只有 3 小时。" }],
});
}
// 当前实验参数:temperature = 0.0
const response = await generate(0.0);
const textBlock = response.content.find((b) => b.type === "text");
console.log(textBlock?.type === "text" ? textBlock.text : "");
LLM 预测下一个 Token 时是在词表概率分布上采样:Temperature 控制分布陡峭程度,Top-K 限制只从前 K 个候选词里抽,Top-P(核采样) 保留累计概率达到 P 的头部词。工程上,分类、提取与结构化输出建议从 temperature: 0 起步,创意发散再调到 0.7 ~ 1.0;Top-K 和 Top-P 大多数场景保持默认即可。
temperature、top_p 等采样参数会被忽略。需要测试 Temperature 影响时,应在请求里显式关闭思考模式(thinking: { type: "disabled" }),具体以 DeepSeek 思考模式文档 为准。
长 Prompt 里约束写在哪里,结果差异很大。试着点击下面的 ↑ / ↓ 把 [核心格式约束] 挪到 3,000 字长规范中间,看看模拟的 JSON.parse() 会发生什么。
用 ↑ / ↓ 调整各模块顺序,或开启“结尾再重复一次格式要求”,观察 U 形注意力曲线与模拟 JSON 解析结果。
正如上面 U 形曲线展示的,斯坦福大学和 Meta AI 在 Lost in the Middle 来源:Liu et al., 2023 ↗ 中证实:长上下文里,模型对开头和结尾注意力最高,中间信息最容易被稀释。工程上应将 Prompt 拆成 System Prompt(角色、规范与格式约束) 和 User Message(动态输入),组合运用 System / Role / Contextual Prompting,并把关键格式要求放在开头与结尾。
面对“真是太棒了,充一晚上电还是 0%”这种反话评论,直接问往往翻车。自己勾选示例试试,再切到 Tab 2 对比三种推理输出通道。
自己勾选要放进 Prompt 的示例,测试“讽刺反话评论”什么时候会被正确识别,什么时候会翻车(模拟输出)。
“真是太棒了,充一晚上电还是 0%。”
import Anthropic from "@anthropic-ai/sdk";
const client = new Anthropic();
const prompt = `将用户评论分类为:正面、中性、负面。
示例:
评论:“音质很好,性价比高。”
分类:正面
示例:
评论:“产品一般,没什么特别的。”
分类:中性
示例:
评论:“等了两周才到,打开还没电,真是太惊喜了。”
分类:负面
请分类:
评论:“这款耳机音质不错,但续航太差了。”
分类:`;
const response = await client.messages.create({
model: process.env.MODEL!,
max_tokens: 20,
temperature: 0,
messages: [{ role: "user", content: prompt }],
});
Few-shot 的关键不在例子多,而在质量与边界覆盖:分类任务记得打散顺序,刻意放 1~2 个反话或边界案例。多步推理方面,CoT(Wei et al., 2022、Kojima et al., 2022)通过提示词让步骤出现在正文里;而内置思考模式(如 DeepSeek reasoning_content、Claude thinking 块,见 Claude 扩展思考文档)会返回独立思考块,对这类模型不必机械追加“请一步步思考”。
把用户输入直接拼进 Prompt 函数模板会有多危险?先在下面沙盒里点一下恶意 userCode,看看代码评审助手是怎么被劫持的,再开启防护拦住它。
选择一段提交给代码评审助手的 userCode,观察没有边界隔离时,恶意输入如何闭合代码块并劫持模型输出(模拟攻防)。
function buildReviewPrompt(code: string, language: string, rules: string[]): string {
return `你是一个 ${language} 代码评审专家。
评审规范:
${rules.map((r, i) => `${i + 1}. ${r}`).join("\n")}
请评审以下代码,只输出问题列表,每条用 JSON 格式:
\`\`\`${language}
${code}
\`\`\``;
}
日常工程落地还有三条收口准则:指令优先,约束为辅(直接写要什么,少堆“不要……”)、按需选用进阶模式,以及给 Prompt 留版本变更记录。
不要输出多余解释。 不要加前言。 不要使用 Markdown 格式。 不要超过 30 个字。
用一句话总结核心结论,使用日常语言,纯文本格式,不超过 30 个字。
## Prompt 版本 v1.2
- 目标:从用户评论中提取产品缺陷,输出 JSON 数组
- 模型:DeepSeek-V4-Pro | Temperature:0
- 测试结果:正常评论通过;讽刺语气评论偶发误判;空输入返回 []
- 修改记录:
- v1.0 → v1.1:去掉“不要输出解释”,改为“只输出 JSON 数组”,稳定性提升
- v1.1 → v1.2:补充 2 个带讽刺语气的 Few-shot 边界例子
Prompt Engineering 是一门知道边界、并在边界内精耕的技术。结构分离、位置效应、正向指令、防注入隔离与版本文档化,这几条用顺手之后就会变成工程直觉。但正如开篇边界急诊室看到的,单靠文本提示无法给输出格式提供 100% 确定性保证。下一章将进入结构化输出实战,使用 Zod 和 JSON Schema 在代码层面为模型输出兜底。