Anthropic的创立之路：七位联合创始人深度对话

整理 & 编译：深潮 TechFlow 嘉宾：Anthropic 联创 Chris Olah、Jack Clark、Daniela Amodei、Sam McCandlish、Tom Brown、Dario Amodei、Jared Kaplan 播客源：Anthropic 原标题：Building Anthropic | A conversation with our co-founders 播出日期：2024年 12月 20 日

要点总结

过去一周，Anthropic 连续出了两次事故：

• 先是内部近 3000 份文件因 CMS 配置错误被公开访问，紧接着 Claude Code v2.1.88 在 npm 发布时夹带了 59.8MB 的 source map，51 万行源码直接裸奔。
• 一家把「安全」写进基因的公司，在自家运维上连续翻车，讽刺感拉满。

但在急着嘲讽之前，不妨回头听听 Anthropic 七位联创一年多前的一次内部对谈。这期播客录于 2024 年 12 月，七个人聊了这家公司是怎么建立起来的、RSP （Responsible Scaling Policy，直译「负责任的扩展政策」）是怎么磨出来的、「安全」这个词为什么不能随便用、以及 CEO Dario 那句被反复引用的话：

「如果一栋楼每周都响火警，那它其实是一栋非常不安全的建筑。」

现在再听这句话，滋味确实不太一样。

七位联创，快速认脸

• Dario Amodei｜CEO，前 OpenAI 研究副总裁，神经科学出身，Anthropic 战略和安全路线的最终拍板人。这场对话里发言最多。
• Daniela Amodei｜总裁，Dario 的姐姐。此前在 Stripe 干了五年半，带过信任与安全团队，更早在非营利和国际发展领域工作。Anthropic 的组织搭建和对外沟通基本由她主导。
• Jared Kaplan｜物理学教授转 AI 研究者，scaling laws 核心作者之一。经常从局外人视角提供判断，自称当初做 AI 是因为「做物理做腻了」。
• Chris Olah｜可解释性（interpretability）研究的代表人物，19 岁进湾区 AI 圈，先后在 Google Brain 和 OpenAI 工作。Anthropic 里技术理想主义色彩最浓的人。
• Tom Brown｜GPT-3 论文一作，现在管 Anthropic 的算力资源。视角偏工程和基础设施，播客里聊了不少他从「不太信 AI 会这么快」到改变看法的过程。
• Jack Clark｜前彭博科技记者，Anthropic 政策与公共事务负责人。这场对话里充当主持人，负责串场和追问。
• Sam McCandlish｜研究联创，全场发言最少但经常一句话点到要害，属于「补刀位」。

精彩观点摘要

• 为什么做 AI：从物理无聊到「看够了就信了」
  • Jared Kaplan：「我之前做了很久物理，有点无聊了，也想和更多朋友一起工作，所以就做 AI 了。」
  • Dario Amodei：「我不觉得我有明确说服过你，我只是一直给你看 AI 模型结果。到某个时候，我给你看得够多了，你就说'嗯，这看起来是对的'。」
• 逆共识下注：大多数共识是羊群效应伪装成了成熟
  • Jared Kaplan：「很多 AI 研究者被 AI 寒冬心理上伤得很重，好像有雄心是不被允许的。」
  • Dario Amodei：「我过去十年最深教训是：很多'大家都知道'的共识，其实是羊群效应伪装成成熟。你见过几次共识被一夜翻转后，就会说：不，我们就押这个。哪怕你只有 50% 正确，也会贡献很多别人没贡献的东西。」
• 安全与规模化是缠绕在一起的
  • Dario Amodei：「我们当时把模型扩大的动机之一，就是模型得先足够聪明，RLHF 才能做起来。这就是我们现在仍然相信的：安全和规模化是缠绕在一起的。」
• RSP ，负责任的扩展政策是 Anthropic 的「宪法」
  • Tom Brown：「RSP 对于 Anthropic 来说，就像是我们的宪法。它是一份具有指导意义的核心文件，因此我们愿意投入大量时间和精力来反复打磨。」
  • Dario Amodei：「RSP 会阻止不符合安全标准的计划继续推进。我们不是在空谈口号，而是实实在在地将安全融入到每一个环节。」
• 火警响太多次，真着火就没人跑了
  • Daniela Amodei：「我们不能随便用'安全'这个词来左右工作进展。我们真正的目标是让大家清楚地知道我们所指的安全是什么。」
  • Dario Amodei：「真正损害安全的往往是那些频繁的'安全演练'。如果有一栋大楼，每周都会响起火警警报，那么这其实是一栋非常不安全的建筑。」
• 「高尚的失败」是个陷阱
  • Chris Olah：「有一种说法认为，最道德的行为是为了安全而牺牲其他目标，以此来展示自己对事业的纯粹性。但这种方式实际上是自我挫败的。因为这会导致决策权落入那些不重视安全的人手中。」
• 联创们承诺捐出 80% 收入
  • Tom Brown：「我们共同承诺将收入的 80% 捐赠给能够推动社会发展的事业，这是大家都毫不犹豫支持的事。」
• 没人想创业，但觉得必须这么做
  • Sam McCandlish：「其实我们中没有谁一开始就有创办公司的意愿。我们只是觉得这是我们的责任，因为这是确保 AI 发展朝着正确方向前进的唯一途径。」
  • Daniela Amodei：「我们的使命既清晰又纯粹，在科技行业中这样的情况并不常见。」
• 可解释性：神经网络里藏着一整套「人工生物学」
  • Chris Olah：「神经网络非常美妙，其中有许多我们还没有看到的美。我有时会想象，十年后走进一家书店，买一本关于神经网络生物学的教科书，书中会有各种令人惊叹的内容。」
• AI 用于增强民主，而不是成为独裁工具
  • Dario Amodei：「我们担心如果 AI 被错误地开发，它可能会成为独裁主义的工具。如何让 AI 成为促进自由和自决的工具？这一领域的重要性丝毫不亚于生物学和可解释性。」
• 从白宫会议到诺贝尔奖：AI 的影响力早就超出了技术圈
  • Jared Kaplan：「2018 年你不会想到总统会叫你去白宫说他们在关注语言模型。」
  • Dario Amodei：「我们已经看到化学领域的诺贝尔奖授予了 AlphaFold，我们应该努力开发能够帮助我们创造出数百个 AlphaFold 的工具。」