OpenAI 成立新安全团队,Sam Altman 挂帅

2024年 6月 3日 81.5k 0

导读:有了三位 OpenAI 董事会成员加入新的安全团队,真的会让ChatGPT变安全吗?

OpenAI 成立新安全团队,Sam Altman 挂帅-1

OpenAI 正在组建一支新的安全团队,由首席执行官 Sam Altman 领导,董事会成员包括 Adam D'Angelo 和 Nicole Seligman。该委员会将就“OpenAI 项目和运营的关键安全决策”提出建议,这也是几位关键的 AI 研究人员本月离开公司时表达的担忧。

新团队的首要任务是“评估并进一步开发 OpenAI 的流程和保障措施”。然后,它将向 OpenAI 董事会提交调查结果。

安全团队的三位领导人均在董事会任职。然后,董事会将决定如何实施安全团队的建议。

该团队的成立是在 OpenAI 联合创始人兼首席科学家 Ilya Sutskever离职之后进行的,Ilya Sutskever 去年支持董事会推翻 Altman 的企图。他还共同领导了 OpenAI 的 Superalignment (超级对齐)团队,该团队的成立旨在“引导和控制比我们更聪明的人工智能系统”。

超级对齐团队的另一位联合领导人Jan Leike 在 Sutskever 离开后不久也宣布离职。Leike 在 X 上的一篇帖子中表示,OpenAI 的安全“让位于闪亮的产品”。随后OpenAI 此后解散了超级对齐团队。上周,OpenAI 政策研究员Gretchen Krueger宣布辞职,理由也是类似的安全问题。

除了新的安全委员会之外,OpenAI 还宣布正在测试一种新的 AI 模型,但并未确认它是否是 GPT-5。

本月初,OpenAI 发布了 ChatGPT 的新配音 Sky,听起来与斯嘉丽·约翰逊 (Scarlett Johansson) 惊人地相似(Altman 甚至在 X 上提到了)。然而,Johansson随后证实,她拒绝了 Altman 为 ChatGPT 配音的提议。Altman后来表示,Open AI“从未打算”让 Sky 听起来像Johansson,在公司选定配音演员后,他联系了Johansson。整个事件让人工智能粉丝和评论家都感到担忧。

OpenAI 新安全团队的其他成员包括准备负责人 Aleksander Madry、安全负责人 Lilian Weng、校准科学负责人 John Schulman、安全负责人 Matt Knight 和首席科学家 Jakub Pachocki。但由于有两名董事会成员(以及 Altman 本人)领导新的安全委员会,OpenAI 似乎并没有真正解决其前员工的担忧。

OpenAI透露,最近已开始训练下一个前沿模型,“预计由此产生的系统将使我们在通往通用人工智能(AGI)的道路上达到更高的能力水平”。

随后达成一致的建议将“以符合安全保障的方式”公开分享。

该委员会的成员包括董事长 Bret Taylor、Quora CEO Adam D'Angelo、索尼娱乐前高管 Nicole Seligman,以及包括前文提到的 Sam Altman 和 OpenAI 研究员兼联合创始人 John Schulman 在内的六名 OpenAI 员工。据报道,OpenAI 表示还将在此过程中咨询外部专家。 

有人士指出:

“我将保留我的判断,等待 OpenAI 所采纳的建议发布后,我可以看到它们是如何实施的,但直觉上,我并不十分相信 OpenAI(在试图赢得人工智能竞赛的同时,会优先考虑安全和道德。

这是一种耻辱。不幸的是,一般来说,那些不顾一切力争做到最好的人往往很少考虑他们的行为的成本和影响,还有他们如何真实的影响他人。”

我们希望这位人士的证明是错的。在理想的世界中,所有科技公司,无论他们是否参与人工智能竞赛,都应该将他们所做工作的道德和安全放在与追求创新同等重要的位置。

各位如何看,欢迎留言~

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论