6月21日 | 对齐研究跑不赢超级智能，有人决定自己来做

本期内容

AI 能力在加速，但安全研究、代理工程、工具设计和人的思维方式，都还没跟上这个速度。今期从一家新机构的创立宣言出发，经过代理翻车的结构性原因、DeepMind 的控制地图、Every.to 的工具重建实验，到 Farnam Street 对写作价值的反直觉论点，五件事拼出了同一个轮廓：这个时代最脆弱的环节，往往是人类自己。

本期要点

- 新非营利机构 Sequent 由前英国 AI 安全所研究员创立，核心判断是现有对齐研究无法在超级智能训练完成前提供足够的置信度

- AI 代理生产环境频繁失控，根本原因是状态管理，微调会遗忘、RAG 会泄露，Hypernetworks 提供了一个按需生成任务权重的新方向

- DeepMind 发布代理控制框架，把讨论从「模型会不会有害」转移到「运行中人类如何保持有效介入」，更接近产品设计指南

- Every.to 开源了自建的代理原生开发工具，核心是并行隔离执行环境和明确的人类审查节点，开发模式从人推代理变为人管一批代理

- Farnam Street 指出写作是思考过程本身而非输出工具，AI 越普及，能把需求写清楚的人越稀缺，这是整个 AI 系统最脆弱的环节

参考资料

Alignment is not on track（Import AI / Jack Clark）— https://importai.substack.com

Fine-tuning forgets. RAG leaks context. Hypernetworks build the model your agent needs on demand — https://venturebeat.com

DeepMind mapped AI agent controls（The Neuron Daily）— https://theneurondaily.com

We Built Our Own Agent-native Tool. It Overhauled How We Build Software — https://every.to

The Surprising Reason Writing Remains Essential in an AI-Driven World — https://fs.blog

Statement on the US government directive to suspend access to Fable 5 and Mythos 5 — https://www.anthropic.com/news/fable-mythos-access

About Google DeepMind — https://deepmind.google/about/

---

BearTalk 狗熊有话说播客，始于 2012 年。

订阅地址：https://beartalking.com/page/podcast