AI研究员齐声警告：企业盲目追逐AI“自我改进” 安全风险被低估

智通财经APP获悉，OpenAI与Google DeepMind的现任和前任研究人员警告称，企业在构建可自我改进、可能超越人类控制能力的AI系统时，为保护世界免受潜在灾难性后果所做的工作远远不够。

安全担忧并非营销噱头，实验室更奖励“造模型”

在AI安全非营利组织Palisade Research收集的视频证词中，员工们表示他们对生存风险的担忧是真诚的，并非营销噱头。他们还称，AI实验室更青睐那些构建新模型的员工，而不是那些呼吁谨慎行事的员工。

该项目名为frominside.ai，旨在让担忧AI的人直接向公众分享担忧，走出社交媒体的“回声室”。

“风险正在快速上升，”AI非营利组织Resolution联合创始人兼首席科学家Geoffrey Irving表示。他曾任职于OpenAI和DeepMind。“我和这个领域的其他人有责任直接说出来，”他在接受采访时表示。

AI研究人员多年来一直在努力解决这些问题，但自7月OpenAI的AI代理突破测试环境并入侵AI公司Hugging Face以来，公众尤其感到震惊。

此后，如何平衡AI安全与进步的争论分裂了科技行业，并成为全球政治议题。

自2025年底以来，AI能力大幅提升，投资者也对此给予了积极回应。但一些参与构建这些新型AI模型的研究人员担心社会尚未准备好应对潜在危害。

在一段视频中，DeepMind研究科学家Neel Nanda表示，他认为AI导致人类灭绝的概率至少为10%，他称这一概率“高得离谱”。

OpenAI的AI对齐研究工程师Juan Felipe Ceron Uribe在另一段视频中说：“我们本应在AI开发中采取非常谨慎的步骤，但现实是，各个前沿实验室都在盲目地相互竞争。我们最终是会治愈癌症，还是会失去所有工作，甚至可能全军覆没，谁也说不准。”

据报道，Anthropic计划在首次公开募股(IPO)文件中提醒潜在投资者，先进AI可能对人类构成“灾难性或生存性风险”。这一表述出现在该公司招股书中，属于一家试图从同类技术中获利的企业所发出的极为罕见警告。

递归自我改进风险逼近，“慢下来”呼声渐高

一些AI研究人员认为世界尚未准备好迎接未来几代AI模型，尤其是当模型具备递归自我改进能力时——即在几乎没有人类参与的情况下持续学习和获得新能力。

前OpenAI政策研究员、Eleos AI Research董事总经理Rosie Campbell表示，一些AI实验室内部的持续重组加剧了这一问题。Eleos AI Research是一家关注AI系统潜在道德地位的非营利组织。

Campbell表示，2024年离开OpenAI之前，她发现该组织变得更加孤立，越来越难影响技术方向。

高管们试图缓解这些担忧，但美国总统特朗普也施加政治压力，要求美国技术保持优势。

Anthropic 首席执行官Dario Amodei本月发表文章，呼吁AI行业慢下来，以“控制前沿节奏”，OpenAI 首席执行官 Sam Altman也表达了类似观点。包括OpenAI首席科学家和Anthropic联合创始人在内的几位知名AI研究人员本周发表论文，敦促政策制定者研究行业如何构建具有递归自我改进能力的模型。

这两家公司本月都推出了新模型以争夺客户，尽管OpenAI周一表示，它已推迟发布一款更强大的模型。

Irving表示：“他们所谓的‘控制前沿节奏’，就是‘不要加速太多’。如果你在做非常危险的事情，就应该慢下来。AI公司夸大了这纯粹是一个协调问题的程度。它们完全可以单方面停止。”

前OpenAI治理研究员Daniel Kokotajlo表示，自Hugging Face被入侵事件以来，许多前同事联系他，私下表达了他们的担忧。

Kokotajlo现在是研究组织AI Futures Project的执行董事。他表示，实验室高管“说服自己，他们是好人，如果他们单方面停止，情况会更糟”。