用自家 Agent:为什么现在的首选是模型厂商的官方客户端
Sakura1618结论
同一个模型,放在不同 agent 框架里跑,成绩和花费能差出一大截。当前最省心的组合是用模型厂商自己的客户端:
| 模型 | 官方客户端 | 前身 |
|---|---|---|
| GPT-6 Astra | ChatGPT app(Work / Codex 模式) | Codex CLI |
| Claude Opus 5.5 | Claude app(含 Duet) | Claude Code |
| DeepSeek V4.1 Flash | DSH | — |
下面不谈体感,只摆三组可查的证据:harness 能把同一模型的分数拉开多少、厂商到底按模型做了什么特殊处理、token 账单差在哪。
一、先看 harness 能把同一模型拉开多少
这不是玄学,2026 年已经有一批可复现的数字。
① 同一个模型,四个 harness,四个分数
Claude Opus 4.5 在 SWE-bench Pro(731 题公开集)上:
| Harness | 通过率 | 来源 |
|---|---|---|
| Scale AI SEAL(标准化 SWE-agent) | 45.89% | 独立标准化 |
| Claude Code | 49.75% | 厂商自测 |
| Cursor | 50.21% | 厂商自测 |
| Auggie CLI | 51.80% | 厂商自测 |
权重完全一样,只是脚手架不同,差距接近 6 个百分点(来源)。
② 换 scaffold,能力上限能抬 20%
Epoch AI 复核 SWE-bench Verified 时发现,好的 scaffold 能把成绩抬高最多 20%,并记录了 Claude 3.7 从 62.3% → 70.2% 的跃升——模型没变,只换了脚手架。
③ 只改 harness 的受控实验
2026 年 8 月的对照实验(arXiv 2608.26218)冻结模型和任务,只改 harness 的一处行为(上下文将满时缩短旧工具结果、对重复/停滞的动作做响应)。在 169 题的紧窗口子集上:
1 | 平均单题 fail-to-pass 比例:28% → 49% |
而且这处改动没有针对任何模型重新调参,对另外三个模型同样有效。
④ 理论侧的结论更直接
论文《Stop Comparing LLM Agents Without Disclosing the Harness》提出「绑定约束假说」:执行 harness 常常比它包裹的模型更能决定 agent 表现,而现在的评测协议一直在把 harness 的收益记在模型头上。
另一篇 position paper 的实测更细:同一个 scaffold 在不同 base model 上,token 预算效率能差 3–7 倍,结论是「效率是 scaffold 与 model 的联合属性,不是任何单独一半的属性」。
这就是”官方客户端更快”的第一层解释:它不是”某个模型”,它是”某个模型 + 为它调过的 harness”。
二、厂商到底”特殊处理”了什么
三件可查的事。
1. 每个模型一套系统提示词
Anthropic 在《The new rules of context engineering for Claude 5 generation models》里做了一次激进实验:把 Claude Code 的系统提示词删掉 80% 以上,编码评测没有可测量的下降。
关键在于配套的那句话——每个模型配一套不同的系统提示词,只有最前沿的 Opus 5 / Fable 5 享受这次削减,旧模型仍然跑完整版(解读)。
这就是”针对性优化”最直白的证据:同一家公司,不同模型,不同提示词。
2. 工具调用和循环控制按模型调
OpenAI 的 Codex 提示词指南里,工具行为是被明确规定的:
1 | temperature = 0.2 |
理由是 GPT-5.x-Codex 在 auto 下会自己判断”有活就调工具、干完就自然收尾”。同一份指南还规定计划工具的用法:维护 2–5 个里程碑项,连续 8 次工具调用内必须更新一次计划(整理)。
第三方框架为了兼容几十家模型,只能写”大家都能懂”的版本——这是它的价值,也是它的上限。
3. 上下文压缩是自家实现
Claude Code 的系统提示里写着 “The conversation has unlimited context through automatic summarization”,实际背后是三层压缩在透明工作(分析)。
OpenAI 这边更直接:GPT-5.1-Codex-Max 引入上下文压缩后,SWE-bench Verified 从 73.7% → 77.9%,同时令牌消耗减少约 12%(报道)。
压缩策略必须贴着模型的退化点设计:哪一段开始失忆、哪些信息压掉不心疼、压缩后用什么结构接回去。通用框架只能按通用策略截断——经常”压完就忘了刚才在干什么”。
三、token 为什么更省:缓存经济学
省 token 从来不是”单价便宜”,而是重复前缀不重复付费。
| 厂商 | 缓存写 | 缓存读 | 折扣 |
|---|---|---|---|
| Anthropic | 1.25× 基础价 | 0.10× | 90% off |
| OpenAI(GPT-5.4/5.5) | — | $0.50/M vs $5/M | 90% off |
| OpenAI(gpt-4o/4.1 等旧模型) | — | — | 50% off |
命中缓存的前提是请求前缀稳定:系统提示、工具定义、历史消息的组织顺序不能变。官方客户端天然把这三样组织成稳定前缀;第三方框架每次拼装顺序稍有差异,缓存就失效,同样的对话要多付几倍的钱。
再叠加第一节的结论——轮次更少——账单差距就出来了:同样的活,官方客户端花的轮次少、每轮前缀命中率高。
四、三个组合怎么用
GPT-6 Astra → ChatGPT app
Astra 在 DevDay 2026 上是”最智能、最对齐”的模型,同时驱动 dots 这类常驻 agent(回顾)。订阅用户目前通过 ChatGPT Work 和 Codex 两个入口使用它,而不是普通 Chat;Codex CLI 需要 0.153.0 以上(说明)。
桌面端的入口就是:打开 ChatGPT app → 在 Chat / Work / Codex 之间切(帮助中心)。
适用:强工具调用、长链路任务、要和 ChatGPT 生态(文件、联网、多模态)打通的场景。
Claude Opus 5.5 → Claude app
Opus 5.5 的系统提示词是公开的(release notes)——这件事本身就说明厂商在按模型维护提示词。
客户端侧,Claude Code 那套终端工作流没有消失,而是并入了更大的产品面:新出的 Claude Duet 明确”围绕 Opus 5.5 设计”(介绍)。
适用:大型代码库、长时间连续改动、对 diff 质量要求高的场景。注意它对手册(CLAUDE.md / 项目约定)极其敏感,写得好坏比换模型影响更大。
DeepSeek V4.1 Flash → DSH
V4.1-Flash 的官方说明里有一句很关键:官方 V4-Flash 基准是用 DeepSeek Harness 的 minimal 模式跑的(更新日志)。也就是说,官方公布的分数本来就带着自家 harness。
同一个更新日志还写着 V4-Flash「原生支持 Responses API 格式,并专门为 Codex 做了适配」——厂商会主动去适配别人的 harness,但跑分和调优仍以自家 harness 为准。
DSH 的架构是”Agent = Model + Harness”,而且 harness 本身由插件组成,连 agent 循环都是插件(架构拆解)。
适用:高频、短回合、批量性任务——改配置、跑测试、批量重命名、日常小修。Flash 不要拿去啃需要深度推理的架构决策。
五、反证与边界
官方客户端不是万能的,这几类场景它反而更差:
| 场景 | 原因 |
|---|---|
| 跨模型对比 / 评测 | 要的是同一脚手架下的可比性;而”不披露 harness 的对比”本身已经被论文点名 |
| 私有化 / 内网 | 数据不能出网,只能自建网关 + 开源 harness |
| 嵌进自己的流水线 | 需要可编程接口、可审计日志、可替换模型 |
| 多模型分工 | 一个任务里主力模型规划 + 廉价模型执行,官方客户端做不到 |
| 深度定制工具 | 自己的 MCP / 内部系统,官方客户端扩展面通常更窄 |
判断规则:
1 | 任务在"官方客户端的能力范围"内 → 用官方 |
六、已经习惯 OpenCode + OMO 的话
不用急着推翻。之前那套(半自动篇、全自动篇)解决的是”让 AI 持续帮我写代码”,官方客户端也在解,只是工作方式不同。
舍不得终端工作流的话,可以先试 omp(oh-my-pi):保留终端优先、多代理、可换模型,同时把 IDE 能力(LSP、DAP、浏览器、桌面控制)内置了。详见 omp 使用指南。
现实路径:
- 日常小活:直接切官方客户端,别折腾框架;
- 需要多模型分工:留在 omp / OMO;
- 需要跨厂商对比:留在开源 harness,保证脚手架一致——否则你测的是 harness,不是模型。
七、自己验证的方法
别信榜单,做一次 A/B:
- 挑 5 个真实任务(不是玩具题),固定模型;
- 官方客户端跑一遍,开源 harness 跑一遍;
- 记录三个数:完成率、工具调用轮次、账单;
- 只看差异稳定的那几项,单次波动当噪声。
第一节那组 45.89% vs 51.80% 的差距提醒我们:换 harness 的收益,可能比换模型还大。所以这个 A/B 值得做。
要点
- 模型和 harness 是一体的。 把 Opus 塞进通用框架,等于主动放弃厂商为它做的适配——而且这部分收益在榜单上会被误记到模型头上。
- harness 的影响是可量化的。 同一模型 6 个百分点、受控实验 fail-to-pass 28%→49%,都不是体感。
- 省 token 靠前缀稳定 + 轮次少。 缓存读 0.10×,但前提是前缀不变;官方客户端天然满足。
- 厂商按模型分发提示词。 前沿模型用精简版、旧模型用完整版,这已经是公开做法。
- 官方客户端适合”干活”,开源 harness 适合”编排”。 前者优化单条链路,后者优化多模型协作。
- 换之前先量化。 同一任务两边各跑一遍,看轮次、看 diff、看账单。
本文引用的数据均标注来源,产品与定价以官方文档为准。模型和客户端迭代很快,结论有时效性。

