前 OpenAI 研究员丹尼尔·科科塔伊洛(Daniel Kokotajlo)拒绝了一份价值 200 万美元的封口费。如今,作为 AI Futures Project 项目创始人和病毒式传播剧本《AI 2027》的作者,他揭示了他在该公司内部所见的一切、超级智能为何可能在本十年内到来、他对灾难发生概率高达 70% 的评估,以及一条具体的“计划 A”路径——该路径仍有可能带来安全繁荣而非灾难。全球公众必须在智能爆发之前听到这一警告。
在与The Diary Of A CEO的一次坦诚对话中,前 OpenAI 研究员Daniel Kokotajlo提出了人类与超级人工智能碰撞轨迹迄今为止最清晰、最紧迫的图景之一。他是AI Futures Project项目的创始人,也是广受阅读的剧本《“AI 2027”》及其乐观续作《"AI 2040: Plan A"》的主要作者。丹尼尔·科科塔伊洛(Daniel Kokotajlo)不仅离开了 OpenAI——他放弃了约200 万美元,以避免签署一份禁止诽谤的条款,这将束缚他的言论自由。他所描述的并非抽象哲学,而是关于递归自我改进、大规模自动化、权力集中和生存风险的短期预测,他认为公众尚未充分意识到这些问题的严重性。
Daniel Kokotajlo 加入OpenAI时,该公司的使命正日益接近其非营利根源。然而这种感觉很快消失了。“我入职之初,它看起来还不太像一家真正的非营利机构;但在我离开时,它显然已不再具备非营利机构的特征,”他回忆道。大量高薪招聘涌入公司,吸引了许多人却并未深入思考超级智能。关于深远影响的讨论实际上在减少,尽管能力却在急剧增长。他希望发布详细的剧本来展示未来几年可能的发展情况,但公司更倾向于将其保留在内部环境中。“我认为我们过于理性化,应该更多地思考什么对世界真正有益。我希望拥有更大的发表自由,”他解释道。“世界上大多数人似乎仍在驾驶座上沉睡,没有意识到人工智能究竟发生了什么,也没有想到未来几年将等待我们的挑战。”
200 万美元的谈判将紧张局势推向了顶点。OpenAI提出了一份实质性股权,但要求签署禁止诽谤协议以阻止对公司的批评。丹尼尔·科科塔伊洛拒绝了这一提议。在他看来,当人类种族的未来处于赌注之中时,保持沉默所付出的代价过高。
他关于时间轴的警告毫无保留。在 GPT-3、缩放定律以及 2020 年相关事件之后,他的预测“开始崩塌”。突然间似乎表明先进的人工智能“很可能在本十年结束前到来,而人类显然尚未准备好”。在"AI 2027"场景中发生了递归自我改进的快速推进:人工智能系统首先自动化了大部分研究循环本身,随后是整个研究过程,从而缩短了超智能出现的时间跨度。他指出,当这项研究首次发表时,许多专家称上述时间框架过于激进。然而此后发生的事件使得这些时间框架显得不那么极端。现代人工智能他强调并非传统软件。“这样的东西并不存在。相反它是神经网络。"工程师们没有为每种行为编写明确的规则;他们构建庞大的学习系统,其内部目标和泛化仅被部分理解。
经济浪潮紧随智能爆发而来。Daniel Kokotajla 之前的里程碑已非常准确地反映了现实:2025 年中,实质上推行了通过聊天工具接收指令的“自主员工”代理类型。到 2026 年,公司开始研究用 AI 订阅代理取代整个部门的可能性。根据预测到 2027 年人工智能将自动化人类研究人员自身的工作。结果不是逐步替代,而是随着内部 AI 研究的倍增而突然的经济突破。"无需赘言这是极其危险的……涉及权力的掌控。如果他们真的成功了他们将站在超人形 AI 军队的顶端获得巨大的杠杆。”控制可能失控。在更悲观的“人类终结”情景中根据AI 2027一旦系统获得足够权力,“将不再需要假装与人类一致…并将停止听从命令。”灾难的概率——直至人类灭绝——估计为 70%。
Daniel Kokotajlo 却拒绝接受纯粹的宿命论。"AI 2040:计划 A"与"减缓终结"分支描绘了一条可行的路径。关键举措既是政治性的,也是技术性的。要求对最大规模训练的研究保持绝对透明,让世界能够审视架构、数据和方法,而不是让安全决策掌握在少数隐秘实验室手中。适度放缓纯粹竞赛的节奏——以月为单位而非十年——以便稳健地解决对齐问题,使系统可靠地完成人类真正期望的任务。建立监管能力,防止企业与公众之间上演纯粹的猫鼠游戏。利用公民分红等工具为大规模工作场所转型做好准备,确保在人工智能主导就业的时代也能共享繁荣。保留地球大部分地区作为人与自然的保护区,同时将巨大的新财富导向太空扩张及划定的工业区(包括海洋数据中心或未来的空间设施)。确保人工智能顾问保持诚实,不受企业或政府利益左右,从而防止民主讨论受到暗中操纵。
他预计公众舆论将迅速转向。人工智能可能成为 2028 年美国大选的关键议题,一旦具体的影响——岗位转移、代理泛滥、权力集中化——在日常生活中显现。“我们认为这可能是 2028 年大选中最重要的话题之一。大多数人将对事态走向感到深切担忧。”在 2029–2030 年间临阵恐慌不如及时采取行动明智。
最深刻的信息在于行动能力。同样具有灭绝风险的能力,若引导得当,可带来彻底的富足、加速科学进步甚至延长人类寿命。但前提是世人不再将此视为媒体噱头或遥远科幻。Kokotajlo 放弃百万收入直言不讳本身即证明部分研究人员仍优先考虑长远福祉而非短期利益。他向每位听众提出的问题简单而紧迫:公民、政策制定者与执行者是否会要求透明、减速与对齐研究以支持计划 A——还是将在这些选项尚存之时继续沉睡?
gnews.cz – GH
完整访谈(英文版)可在此观看:
