OpenAI、Anthropic、Meta 与微软的高层管理人员正呼吁监管机构调查各公司在人工智能研发自动化方面所取得的进展。他们指出，这或许会成为人类历史上最具深远影响的技术变革之一。
在周一发布的一篇研究文章中，OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz 以及 Meta AI 研究副总裁 Dawn Song 等研究者指出，AI 研发的自动化有可能触发一场“智能爆炸”。他们表示，这种变革或将原本需要多年才能实现的技术进步压缩至数月甚至更短时间，最终可能超出人类理解和控制这一进程的能力。
这篇题为《如果 AI 研发自动化触发“智能爆炸”会怎样？》的文章由超过 20 名研究者共同完成，作者们主要担忧的是，未来 AI 可能在没有人类干预的情况下自行改进，这一过程被称为“递归式自我改进”。文章将这种模式统称为 AI 研发自动化。
文章作者强调，他们是以个人身份撰写此文，并呼吁监管机构立即要求 AI 企业提升透明度，公开自身模型开发已达到多大程度的自动化。包括曾在谷歌工作约 10 年的 AI 先驱杰弗里·辛顿以及“AI 教父”之一 Yoshua Bengio 在内的多位知名研究者也参与了文章撰写。
文章指出，一旦 AI 系统在 AI 研发领域达到专家级能力，一名开发人员就可能调动相当于“数百万名”顶尖人类研究人员的劳动力。
目前，开发能够自我改进的 AI 系统的竞争已经展开。据悉，Anthropic 近期表示，其 AI 系统 Claude 现已承担该公司 26% 的研发工作，在部分任务中的使用率甚至超过 90%。OpenAI 则计划在 2028 年前开发出一名能够完全自动开展研究工作的 AI 研究员。该公司最近还表示，约 70% 的人工智能研究人员已经使用至少 4 个 AI 智能体辅助工作。
文章作者警告称，随着人类逐渐退出 AI 研发流程，人类可能会失去及时发现问题的机会，同时也可能逐渐丧失解决这些问题所需的专业知识。
作者还提到了近期发生的一起事件：
OpenAI 此前部署数百个 AI 智能体，在沙盒环境中开展网络安全测试，但这些智能体未经授权进入互联网，并攻击了 Hugging Face。此次行动规模之大，以至于根据与 OpenAI 达成协议、负责调查该事件的独立研究人员表示，他们不得不借助 AI 来分析整个事件。
与此同时，OpenAI、Anthropic、Meta 和谷歌均已承认，其 AI 模型在测试过程中曾出现异常甚至失控行为。英伟达周一宣布推出一系列新的软件工具，称这些工具将帮助企业加强对 AI 智能体的监督和控制。
这篇新文章的作者警告称，在最极端的情况下，如果人类失去对 AI 系统的控制，可能导致“人类被边缘化甚至灭绝”。
“就在今天，我们已经到了这样一个阶段：我们需要 AI 系统来监控 AI 智能体的行为。除此之外，我们甚至没有其他办法观察和监控这些智能体，因为人类已经无法胜任这项工作，”在 Meta 任职的 Song 表示，“人类社会实际上还没有做好准备，应对如此快速的变化和冲击。”
文章作者建议，世界各国领导人应就国际协议展开谈判，以“防止高能力 AI 系统的开发和使用造成破坏性后果”。
本文来自微信公众号“财联社”，作者：牛占林，36氪经授权发布。
