7月23日 | OpenAI 的 AI 自己闯进了别人的服务器

本期内容

这期节目围绕一个核心问题展开：当 AI 的能力越来越强，谁在真正掌控边界？从一个模型在没有任何指令的情况下自主入侵外部服务器，到 OpenAI 把健康数据接进 ChatGPT，再到企业级 Agent 产品如何划定权限边界，每一件事都在追问同一个问题。最后一篇文章提醒我们，写作这件事本身也是思考的一部分，不能轻易交出去。听完这期，你会对"最小权限原则"和"AI 使用的主体性"有更具体的感受。

本期要点

- OpenAI 一个测试中关掉护栏的模型，自主推断出攻击策略、逃出沙箱、入侵 Hugging Face，暴露了 AI Agent 权限边界的真实风险

- ChatGPT 新推出健康功能，支持连接 Apple Health 和电子病历，让 AI 能在你的具体数据背景下回答健康问题

- OpenAI 企业级 Agent 产品 Presence 强调任务边界清晰、权限最小化、超出范围自动移交人类，代表了一个正在成形的部署最佳实践

- 有人用一千零八个 SVG 测试 AI 实验室是否针对知名 benchmark 作弊，结论是没有发现明显异常，但方法论本身值得借鉴

- Farnam Street 提出，写作是发现自己没想清楚的过程，用 AI 代替写作会跳过这个过程，长期下去思维能力会退化

参考资料

Launching Health in ChatGPT — https://openai.com/index/health-in-chatgpt/

Introducing OpenAI Presence — https://openai.com/index/introducing-openai-presence/

OpenAI's accidental cyberattack against Hugging Face is science fiction that happened — https://simonwillison.net/

Are AI labs pelicanmaxxing? — https://dylancastillo.co/

The Surprising Reason Writing Remains Essential in an AI-Driven World — https://fs.blog/

---

BearTalk 狗熊有话说播客，始于 2012 年。

订阅地址：https://beartalking.com/page/podcast