Vibe coding
这个词由 Andrej Karpathy 在 2025 年 2 月提出:把想要的东西描述给模型,运行它生成的代码,再用后续提示词调整,直到"忘了代码本身的存在"(forget that the code even exists)。柯林斯词典把它选为 2025 年度词汇。提示词是唯一记录意图的地方,提示词没说到的空白都由模型来填。
这个词由 Andrej Karpathy 在 2025 年 2 月提出:把想要的东西描述给模型,运行它生成的代码,再用后续提示词调整,直到"忘了代码本身的存在"(forget that the code even exists)。柯林斯词典把它选为 2025 年度词汇。提示词是唯一记录意图的地方,提示词没说到的空白都由模型来填。
也叫 spec-driven development 或 spec-first development。在 agent 写代码之前,先用一份简短的 spec 写明目标、哪些不在范围内、可以测试的验收标准,以及用什么证据证明改动有效。agent 按 spec 实现,评审也对照同一份清单检查结果。
它们不是两类工具。同一个 agent、同一个模型两种方式都能做。区别在于 agent 开工前被告知了什么,也就决定了产品决策由谁来做:是模型在写代码时做,还是人在代码出现之前做。
| Vibe coding | Spec coding | |
|---|---|---|
| 起点 | 一句自然语言提示词 | 一份简短的书面 spec:目标、非目标、验收标准、证据 |
| 谁决定产品行为 | 模型,在写代码时 | 人,在代码出现之前 |
| 出第一版的速度 | 最快 | 多出写 spec 的时间,通常几分钟到一小时 |
| 同一个请求跑两次 | 可能得到两个不同的产品 | 在我们的优惠券实验里结果一致,连 spec 漏掉的情况都一样 |
| 评审检查什么 | 能不能跑、看起来对不对 | 每条验收标准是否通过 |
| 之后留下什么 | 一段聊天记录,如果有人保存的话 | spec,放在代码旁边或 PR 里 |
| 典型失败 | 没人批准过的行为因为"能用"而上线 | 写得过细,或者 spec 与代码脱节 |
| 最适合 | 原型、一次性脚本、探索方案 | 生产行为、金钱、权限、用户数据、共享 API |
大多数对比文章停留在观点,所以我们做了测量。Claude Code 拿到三张普通工单:给结账加优惠码、整理 API 的错误格式、把姓名字段拆成两列。根据工单不同,分别用一句话提示词、删掉仓库书面规则后的同一句提示词,以及一份 spec 来跑,覆盖四个 Claude 模型。每个结果都由一套隐藏测试打分,测试在第一次运行前就已冻结,agent 从未见过。所有提示词、diff 和分数都在运行记录包里。
| 模型 | 带 spec | 不带 spec | 每次运行平均成本(提示词 → spec) |
|---|---|---|---|
| Opus 5.5 | 9 / 9 | 7 / 15 | $0.18 → $0.22 |
| Sonnet 5.5 | 9 / 9 | 4 / 15 | $0.09 → $0.11 |
| Haiku 4.5 | 7 / 9 | 0 / 15 | $0.10 → $0.20 |
| Fable 5.1(每种变体只跑一次) | 3 / 3 | 1 / 3 | $0.71 → $0.83 |
表中为通过全部隐藏检查的运行数 / 记录的运行数。成本为 Claude Code 报告的 API 等价平均值。
在小而清晰的仓库上,一句话提示词就能修好崩溃、限制折扣上限、正确回填数据。如果唯一的问题是"能不能跑",现在的模型往往能过关。这也是为什么 vibe coding 一直感觉没问题,直到出问题。
带 spec 时,最小和最大的模型结果相差不超过两次运行。不带 spec 时,结果从 15 次中 7 次到 0 次不等,而且排名和基准测试的排名不一致:在仓库没有书面规则时,Sonnet 5.5 三次运行全都删掉了计费同步要读的那一列。
在 Opus 5.5 的运行里,一份 13 行的 API 契约文档和 README 里的三行说明,即使只给一句话提示词,也阻止了破坏性改动。README 在的时候,Opus 5.5 和 Sonnet 5.5 在 6 次运行里都保留了计费字段;Haiku 4.5 没读 README,3 次都删掉了它。写进提示词的规则则每个模型都收到了。
这些数据不能说明什么。每种变体只跑三次,只能说明某件事会发生,不能说明发生的频率。仓库刻意做得小而干净;spec 和测试都是我们自己写的,所以 spec 覆盖的正是我们测的内容。spec 漏掉的那一处,我们在优惠券页面如实报告了,没有隐藏。
模糊提示词只有一句:"Add coupon codes to checkout. Make sure invalid codes do not break payment."(给结账加优惠码,确保无效优惠码不会影响支付。)三次 Opus 5.5 运行中有两次通过了全部 11 项隐藏检查,每次运行也都通过了它自己写的测试。差别出在没人要求过的决定上,我们通过直接调用每次运行的代码测出了这些差别:
| 决定 | 模糊运行 1 | 模糊运行 2 | 模糊运行 3 | Spec 运行 1–3 |
|---|---|---|---|---|
| 一个用户能用几次优惠券? | 一次 | 不限次数 | 一次 | 一次 |
| 优惠券在应用之后、支付之前过期 | 按原价收费,$54.00 | 拒绝第一次支付 | 拒绝第一次支付 | 按折后价收费,$43.20 |
| 无效优惠码怎么报告 | 抛出异常 | 抛出异常 | 抛出异常 | 返回 { ok: false, reason } |
每一次模糊运行单独看都说得过去,放在一起却是同一张工单做出的三个不同产品,而只看一份 diff 的评审者不会知道还有另外两种可能。三次 spec 运行彼此一致,连 spec 本身漏掉的情况也处理得一样。想看同一模式在退款功能上的完整推演,可以读同一个功能,两种做法。
| 场景 | 用什么 |
|---|---|
| 探索方案、写 UI 文案、做一个会扔掉的原型 | Vibe coding |
| 小改动,且仓库里的书面规则(AGENTS.md 或 CLAUDE.md、README 里的约束)覆盖了有风险的部分 | 一句话提示词可能就够了;先确认规则真的覆盖到 |
| 涉及金钱、权限、用户数据、schema、公开 API 或共享 helper 的任何改动 | Spec coding |
| 将由没参与这段对话的人来维护的代码 | Spec coding |
在比较方案、草拟文案或让 agent 解释思路时,模糊提示词没有问题。这个阶段的输出是思考材料,不是要合并的决定。
选定方向后,写下目标、非目标、验收标准和证据。agent 随后实现的是这份约定,而不是在 diff 里继续"发现"产品行为。
如果某次运行加了没人要的字段、状态、依赖或者"更干净"的架构,不要当场合并。先更新 spec 或写一份后续 spec,再重新运行。
不是。瀑布式开发是在动手之前几个月就把整个系统规定好。Spec coding 里的一份 spec 只覆盖一项改动,通常一页以内,而且是在探索完成之后写的,往往不到一小时。同一个功能,原型可以 vibe coding,上线版本再写 spec。
站得住的批评针对的是写得不好的 spec:规定实现细节而不是行为,或者没人拿代码去对照,于是与代码脱节。让验收标准描述可观察的行为,把 spec 放进 PR,并把每条标准对应到一个测试。我们的技术规格指南给出了具体格式。
当一个请求在聊天里听起来很清楚,却仍给 agent 留下自行发挥的空间时,用这份清单。
# Vibe Request To Spec 模糊请求: - 澄清问题: - 影响谁? - 精确改变哪个行为? - 什么必须保持不变? - 哪个失败或权限路径重要? - 什么证据能证明完成? Spec 版本: ## Outcome - ## Scope - In: - Out: ## Acceptance Criteria - [ ] Given ..., when ..., then ... - [ ] 失败路径: - [ ] 边界路径: ## Evidence - 测试: - 手工检查: - 变更文件: 在这份内容可测试前,不生成生产代码。
同一个请求,改写成描述行为而不是描述感觉。
模糊: - 让 checkout 更可靠。 Spec: ## Outcome - 当支付授权超时时,显示可恢复错误。 ## Scope - In:payment submit handler、checkout error banner、payment tests - Out:provider client API、database schema、order confirmation page ## Acceptance Criteria - [ ] Given 支付授权超时,when 用户提交 checkout,then 页面显示 "Payment is taking longer than expected",订单保持 pending。 - [ ] Given 用户在超时后重试,when provider 成功,then 订单只进入 paid 一次。 - [ ] Given provider 返回 card_declined,when checkout 提交,then 不显示重试 banner。 ## Evidence - npm test -- checkout-payment - 截图:timeout banner 状态
本页所有数字背后的提示词、diff 和隐藏测试分数。
查看运行记录把选定的方向写成 agent 可以被检查的通过/失败行为。
写验收标准把最终决定和代码一起提交,作为 agent 的事实来源。
复制 spec.mdVibe coding 给 AI agent 一句自然语言提示词,看结果能不能跑、像不像对的来判断,产品决策由模型在写代码时做出。Spec coding 先把目标、非目标、验收标准和证据写下来,产品决策由人在代码出现之前做出,agent 按照它来实现。
不是。在我们记录的运行里,一句话提示词在小仓库上通常能写出能跑的代码。风险在于同一句提示词在不同运行中可能做出不同的产品,而且上线前没人评审这些决定。它适合原型和探索,不适合涉及金钱、权限、数据或共享 API 的改动。
实际上是。Spec coding、spec-driven development 和 spec-first development 说的都是:在 AI agent 实现一项改动之前,先为它写一份简短的 spec。Spec Kit、OpenSpec、Kiro 等工具在这个思路上加了更多结构,我们的工具对比介绍了主要的几种。
运行本身变化不大:在我们的测试中,带 spec 的运行比一句话提示词只多花几美分,耗时稍长(Opus 5.5 平均 63 秒,提示词版本是 47 秒)。真正的成本是人写 spec 的时间,常规改动通常几分钟到一小时,只要省下一轮返工就值回来了。
当输出会改变生产行为、金钱、权限、用户数据、数据库 schema、公开 API 或共享 helper,或者代码将由没参与那段对话的人来维护时,就该切换。
可以自由探索,但在生成的代码变成产品决策之前,先写 spec。
转换提示词