Autoresearch：让 AI 一晚上跑 100 个实验优化自己

中文 · Mia Builder 手记 · 2026年4月

正文

你有没有过这种经历：改一行 prompt，跑一次 eval，等 30 分钟看结果，然后想下一步改什么。一周下来跑了 5 轮。

如果我告诉你，有人让 AI 一晚上自动跑 100 轮这个 loop 呢？

今年 3 月，Karpathy 开源了 autoresearch。630 行 Python。做的事情很简单：

给一个 AI agent 一个小型 LLM 训练 setup，让它自己改代码 → 训练 5 分钟 → 看分数涨了没 → 涨了就保留，没涨就回滚 → 重复。

一个晚上跑 100+ 实验。Shopify CEO 试了一下，37 个实验跑了一晚，模型性能提升 19%。后来他在 Shopify 的前端渲染代码上跑，找到了 53% 的加速。

21K GitHub stars，860 万播放。

但这不是重点。重点是这个 loop 可以 apply 到 AI 系统的每一层。

一个现代 AI 产品不只是“一个模型”。模型之上有 7 层可调的东西：

层	你平时怎么调	Autoresearch 怎么调
Pre-training	ML researcher 手动调架构	Karpathy autoresearch
Post-training	手动选 SFT data	MiniMax M2.7 — 模型参与训练自己
Prompt / Schema	Prompt engineer 试错	Harvey 的 Harness Engineering
Pipeline steps	工程师手动加减	AutoAgent / Meta-Harness
Eval / Judge	Eval team 校准	OpenAI Self-Evolving Agents
科学发现	研究员做研究	Sakana AI Scientist

同一个 loop — 改参数、跑实验、看结果、保留或回滚 — 在每一层都能跑。

Harvey AI（法律 AI，$11B 估值）用这个方法，12 个法律任务平均分从 40.8% 提升到 87.7%。没换模型，只换了模型的“工作环境”。

我在自己的项目上跑了 autoresearch（医疗 AI 方向，具体不展开），踩了不少坑。总结下来，决定 autoresearch 成败的不是代码，是三个设计问题：

1. Agent 能改什么？（Action Space）

太窄 → 优化空间有限。太宽 → 风险失控。

我用了一个 Where × What 矩阵：Where = 系统的哪些层级可以改（prompt? schema? pipeline step? model?），What = 能做什么操作（加/删/换/改）。每轮只动矩阵里一个格子，保持单变量实验。

2. 跑多少数据才够？

⚠️ 这是最容易踩的坑。

我有一个配置在 10 个 case 上看起来是最差的（某指标 -0.300），但在 54 个 case 上是最好的（-0.025）。12 倍的误差。

另一个配置在 10 个 case 上看起来最好（+0.067），54 个 case 上其实更差（-0.213）。

如果我只看 10 个 case 就做了决定，我会丢掉最好的配置，选中更差的。

学术研究也验证了这个：43/48 个 scenario 里，structured output 的表面效果是统计噪声。

实践经验：n < 30 只能排除明显 broken 的方向。n ≥ 50 才能做 real decision。

3. 知识怎么积累？

AutoAgent（开源版，SpreadsheetBench #1）没有记忆。每轮从头推理。结果？会重复犯已知的错误。

我加了一个 learnings.jsonl — 每轮实验后记录“学到了什么”（结构化的，带 confidence 和 scope）。23 条 learning 之后，agent 不再重蹈覆辙。

这些 learning 才是 autoresearch 最有价值的产出。

具体的 config（最优 prompt、最优 schema）会随着模型更新而过时，半衰期只有 3-6 个月。但“为什么这个 config 更好”的原理 — 跨模型、跨领域适用。

“瓶颈不再是’肉体计算机’写代码的能力 — 是我们定义搜索约束的能力。”

人的角色从 experimenter 变成了 experimental designer。

写好 program.md（目标、约束、eval 标准）比亲手调参重要 100 倍。

但前提是你得有一个好的 eval。 没有 calibrated 的评估标准 + 足够的样本量，autoresearch 就是在自动化追噪声。

Eval 质量 > Loop 速度。这是我踩了最多坑之后得到的结论。

你觉得 “让 AI 自动优化 AI” 这件事，是工程师的终极杠杆，还是又一个过度 hype 的概念？评论区聊聊你的看法 👇

References: