本月早些时候,OpenAI 原安全主管、超级对齐(Superalignment)团队负责人 Jan Leike 宣布从 OpenAI 离职,并公开发文抨击了该公司的安全性问题。现如今,Leike 发帖称已加入了 OpenAI 的竞争对手 Anthropic 公司,并将领导一个新的“超级对齐”团队。
Leike 表示,他在 Anthropic 的团队将专注于全面的 AI 安全,尤其是致力于“可扩展监督、弱到强泛化和自动对齐研究”。
知情人士透露,Leike 将直接向 Anthropic 的首席科学官 Jared Kaplan 汇报工作,而目前致力于可扩展监督的 Anthropic 研究人员将在 Leike 的团队成立后向 Leike 汇报工作。从许多方面看来,Leike 的新团队都与 OpenAI 最近解散的超级对齐团队有着相似的使命。
Anthropic 成立于 2021 年,是一家由前 OpenAI 团队成员创立的人工智能初创公司。在 ChatGPT 发布两个月后,就推出了 GPT-4 的重要竞品 Claude,并陆续推出了升级版的 Claude 2 和 Claude 3 模型系列。目前,Anthropic 已获得了来自谷歌、亚马逊等公司的投资。
Anthropic 的首席执行官 Dario Amodei 曾是 OpenAI 的研究副总裁,据称他在与 OpenAI 因对公司的发展方向(即 OpenAI 日益增长的商业重点)产生分歧而分道扬镳。之后,Amodei 带着许多前 OpenAI 员工创办了 Anthropic 公司,其中包括 OpenAI 的前政策负责人 Jack Clark。
相关阅读:
- OpenAI 前超级对齐领导人抨击公司忽视安全治理