5秒结论
真正快的AI,不是最先回复的AI,而是让整个项目更少返工、更早完成的AI。
一个内容生产系统在几天到约一周的集中改造中,从“让AI写文章并保存文件”升级成了带监控、恢复、并发控制、检查点、坏任务隔离、质量闸门和证据管理的小型自治工厂。
大型架构改造时,除了让GPT-5.6 Sol进行深度推理,还使用了能协调多个并行agent工作流的ultra。单次运行更重,但它可以减少“先做→发现结构性错误→重做→复测→又发现竞态条件”的返工链。
用制造业的话说:单次节拍可能更慢,但返工率下降,所以总交付周期反而更短。
先说明:Level 6和Level 7不是行业统一标准
本文中的Level 6和Level 7是为了说明这套系统成熟度而使用的内部标签,不是ISO等级,也不是软件行业通用认证。
它的思想与IBM长期研究的autonomic computing接近:系统可以自配置、自修复、自优化、自保护。
本文把自动回到已定义正确状态的阶段称为Level 6,把在硬性安全和质量约束内主动寻找更优运行策略的阶段称为Level 7。
一开始只是“让AI写文章”,后来博客里长出了fencing
简单自动化通常只有定时执行、AI生成、文件保存、推送、失败后人工查看。
但当系统变成多语言,并负责质量审核、内部链接、更新和发布判定时,真正的问题变成:两个worker同时改一篇怎么办?中途崩溃从哪里恢复?坏任务会不会无限重试?旧审核结果会不会冒充新证据?AI会不会伪造“人工已审核”?外部服务挂了以后,安全的本地生产能不能继续?
到了这一步,它已经不是博客脚本,而是以内容为原料的小型生产系统。
Level 6:坏了以后,自己回到已知正确状态
Level 6的核心是“目标状态已经定义,系统持续比较当前状态与目标状态,发现偏差就修复”。
主要机制包括desired state、reconciliation loop、lease/fencing、正式checkpoint、CAS、防止半成功状态的transactional outbox、有限retry、quarantine、安全发布闸门、failure injection和observability。
某个运行快照中,Level 6的21项实现要求全部PASS,控制实现评分为100;但包括外部测量、人工证据、长期运行健康度在内的assurance只有约69%,发布仍处于HOLD,Level 7也没有开启。
这说明一个重要区别:实现100分,不等于长期无人值守也有100分把握。
深度Sol与Ultra:一个专家长考,和一组专家并行
OpenAI把GPT-5.6 Sol的max描述为更深的推理设置,而ultra用于协调多个agent的并行工作流处理复杂任务。
深度Sol像是让一个非常强的工程师拿着整个仓库和需求,关门认真思考。
Ultra则更像架构师、实现者、测试者、批判者和“专门负责把它弄坏的人”同时工作,最后合并结果。
这不是简单的“智商翻倍”,而是不同方向的盲点可以同时被攻击。
OpenAI公开的Terminal-Bench 2.1结果中,Sol为88.8%,Sol Ultra为91.9%。只看失败侧,就是11.2%对8.1%,在这个特定评测上约减少28%的失败。它不代表任何项目都会少28%的bug,但能说明并行agent对复杂、可拆分任务的价值。
为什么更重的Ultra反而可能更快
更合理的开发时间公式是:
总交付周期 = 首次实现 + 返工 + 复测 + 故障恢复 + 需求误解修正
只看首次实现,会觉得30分钟的答案比2小时的答案快。但如果2小时版本避免了后面6小时的重构,它才是真正更快的版本。
这和质量工程完全一样:快速生产大量不良品,再在终检报废,并不叫高效率。减少返工,最终出货通常更快。
这次“Ultra一拳”之后,后续主要是在加强证据和可观测性,而不是推翻核心架构。例如证明每个worker确实处理了真实任务、禁止复用旧审核历史、区分AI审核与人工审核、外部证据不存在时标记UNKNOWN、正确的NOOP不能算失败。
这不是重新打地基,而是QC团队进入已经建好的工厂,把每个仪表重新校准。
为什么第一拳能扛住后续检查
不是一拳完美,而是最初就把并发冲突、中途死亡、旧worker延迟写入、外部API故障、无限重试、检查器自己坏掉、虚假成功等问题放进设计里,所以后续修改没有扩散成全面重做。
Chaos Engineering也强调类似做法:先定义可测量的正常状态,再主动注入现实故障,看系统是否还能保持可接受的行为。
通俗一点:先让测试哭,不要先让生产哭。
放到现实世界里有多厉害
和普通AI内容生成、线性Zapier/n8n流程相比,这已经明显更成熟,因为它处理并发、恢复、状态一致性、证据和故障隔离。
和认真做的个人SaaS后端、小公司内部自动化平台相比,很多架构问题已经在同一个讨论层面。
但和有专职SRE、安全团队的成熟商业系统相比,还缺长期运行记录、独立安全验证、大规模负载历史、真实用户影响指标等。
至于Google、Amazon级基础设施,那是另一个宇宙,没必要硬蹭。
个人项目最特别的地方不是“AI会写文章”,而是为了失败时该怎么办,居然长出了这么多工程结构。
Level 7:工厂经理开始做受控实验
Level 7不会只把系统恢复到已知策略,而是尝试寻找更好的策略。
它会同时看质量、吞吐、成本、延迟、积压年龄和失败率;安全规则不能被optimizer修改;新prompt或新调度先在shadow中测试;指标更好再通过canary逐步扩大;一旦质量退化就自动rollback;可靠性变差时只冻结实验,已验证的正常生产继续;每次实验都记录假设、基线、结果和回滚点。
这与IBM的self-optimization、Google SRE的error budget、canary/rollback实践相当契合。
但现在不必急着开启完整Level 7。Level 6还需要积累长期运行证据。如果系统一边证明稳定性,一边又自动修改运行策略,故障原因会更难定位。
当前最值得先做的是:把所有worker的真实运行证明集中到一张操作台账里。
把付费月份当成“设备投资月”
Ultra没有必要处理每天的小修小补。重复审核、固定worker、简单patch,普通Sol或深度推理通常已经足够。
Ultra更适合架构重设计、大规模重构、worker拓扑调整、恢复设计、安全边界、shadow实验框架、大量故障注入等“一开始做错就会返工很贵”的任务。
因此更合理的用法是:平时让工厂稳定运行,把高杠杆改造项目存起来,在可以使用最强模式的时期集中做一次设备投资。
一周里最重要的学习
实际AI能力不只是答题正确率。初始架构质量、自我反驳能力、并行能力、真实执行证据、失败后恢复能力都非常关键。
好的自治工厂不是“永远不失败”的工厂。
它应该预期失败、不制造假成功、让安全任务继续运行,并能随时回到已验证状态。
结论:速度是到终点的时间
大约一周内完成大幅升级,关键不只是AI写代码快,而是把更强的推理和并行能力用在高成本的早期架构决策上,然后让日常生产回到更便宜、更稳定的运行方式。
Ultra更像提前花成本消灭未来返工,而不是魔法正确按钮。
单次更慢,但整个项目更早完成,那才叫快。
参考资料
- OpenAI GPT-5.6: https://openai.com/index/gpt-5-6/
- IBM Research Autonomic Computing: https://research.ibm.com/publications/autonomic-computing-architectural-approach-and-prototype
- Google SRE Error Budget: https://sre.google/workbook/error-budget-policy/
- Principles of Chaos Engineering: https://principlesofchaos.org/
- AWS Canary Deployments: https://docs.aws.amazon.com/AmazonECS/latest/developerguide/canary-deployment.html
