一、什么叫“输出变差”:别急着上另一个模型打分
AI 工程里的回归测试,本质是把不完全确定的模型当成被测函数:固定输入 + 固定 Prompt + 固定检查规则 = 可比较的实验结果。
很多人一听说“评测”,第一反应就是再找一个更贵的模型当裁判。这当然有用,但顺序错了。工程上应该先把最容易确定、成本最低的硬问题用代码拦住,把变差拆成 4 个可观测维度:
新 Prompt 让模型多包了一层 Markdown 代码块,或者把数值字段 score 输出成了字符串,下游解析直接崩溃。
JSON 格式完全合法,但原本能抓出的 SQL 注入被忽略,模型只泛泛地说“代码风格可以优化”。
要求一句话总结却吐出 800 字,或者把一段完全正常的工具函数硬生生审出 3 条“安全风险”。
Prompt 加长了 600 字规则后,通过率只涨了 2%,但单次调用的输入与输出 Token 成本直接翻倍。