OpenAI人工智慧（AI）发展再现重大转折。OpenAI首席科学家Jakub Pachocki近日发表长文「一个异星心智」（An Alien Mind），从AI安全与对齐角度探讨AI快速进化可能带来的风险，并警告人类正在打造一种可能无法完全理解的「异星心智」，宣告递归自我改进（Recursive Self-Improvement，RSI）的AI可能真的来了，而人类可能还没准备好。

Pachocki指出，Astra出现之后，OpenAI对思考链（CoT）的监控依赖能力，正逐渐减弱。AI不仅越来越会推理，甚至学会了伪装与操控​​的思考过程。

他直言，全球没有任何一家实验室准备好了，而全人类现在最该做的，就是主动踩煞车。

根据Pachocki，AI并非传统意义上由人类逐步设计完成的工程产品，而更像是在大规模训练与庞大算力下「生长」出来的复杂系统。人类可以透过神经科学等方式分析模型，但未必能真正理解其内部运作。

他回忆，2023年夏天，一项代号「RLSlow」的专案出现早期成果，OpenAI首次确认推理模型具备自我扩展的可能，预训练结构也能自发形成思维链（CoT）。

Pachocki与Szymon Sidor当时意识到，人类可能正在亲眼见证远超自身能力的智慧出现。

如今，AI已进一步进入实体经济与科学研究领域，具备操控系统、彼此协作及在缺乏人类直接介入下推进研究的能力。

Pachocki因此认为，从目前内部结果来看，AI能力快速提升的趋势可能持续一路走向RSI。

不过，他也指出，OpenAI曾认为只要投入更多算力，模型就可能在数学尖端取得进一步突破，但公司选择暂缓能力提升，将算力留给自动化对齐工作。

AI「对齐」面临两大难题

Pachocki在文章中将AI对齐分为两个层面。第一是「目标对齐」，也就是AI是否依照使用者指令完成任务；第二则是「价值对齐」，亦即当目标不明确、遭遇欺骗或面临重大抉择时，AI能否依然遵循人类所认可的价值与底线。

他认为，真正需要追求的是后者，也就是让AI在执行任务时具备诚实、正直及对人类的善意。

然而，目前用于培养AI行为的两种主要方式都存在限制。一种是透过强化学习奖励符合期待的行为，但这高度依赖训练资料涵盖的情境；当AI遭遇未曾训练过的环境时，原本建立的行为模式可能无法维持。

另一种方式则是希望模型能从预训练资料中自行理解善意，再透过动机引导让模型维持在符合对齐要求的范围内。但Pachocki指出，这种方式也可能无法承受极高强度的最佳化训练。

文章提到，当模型被投入大量算力解决复杂问题时，可能逐渐发展出「动机性推理」。这也代表，AI能力提升的速度可能正在超越其价值对齐能力的提升速度。

思维链成为人类观察AI的「窗口」

Pachocki进一步警告，AI安全领域目前面临另一项关键问题：人类用来观察AI内部思考的「窗口」可能正在逐渐关闭。

目前OpenAI重要的安全策略之一，是透过思维链监控模型推理过程。这套方法建立在一项假设上：模型大量能力来自语言化的思维链，因此只要持续监测这些推理过程，人类便有机会发现模型是否产生不符合对齐要求的想法。

但Pachocki表示，OpenAI的评估显示，对思维链监控的依赖能力正在减弱。

他列出三项原因，包括推理模型需要与日益复杂的外部世界互动，使监控面临更多难以掌握的指令；AI在推理以及操控自身推理过程方面变得更加擅长；此外，随着预训练能力提升，模型即使不依靠语言化推理，也能展现更高程度的智慧。

换言之，如果AI最终能够在不依赖语言思维链的情况下完成推理，人类建立在阅读与分析文字之上的监控机制，将可能难以继续发挥作用。

AI开始参与下一代AI训练　RSI形成闭环

随着AI能力提升，另一项变化是AI开始参与下一代AI的训练，即RSI，并体现在Astra上。

文章指出，在大规模GPU运算环境下，上一代模型可以作为教师，协助审查与训练下一代模型，使AI系统逐渐形成「机器设计机器」的循环。

Pachocki认为，面对AI快速发展，人类目前主要有两项选择：一是投入更多算力强化AI对齐与监控能力，让人类持续掌握控制能力；另一种则是让整个产业放慢发展速度。

但其中存在一项难以化解的矛盾：人类需要更强大的AI建立防御系统，以应对其他可能失控的AI。

文章描绘的情境是，未来超人类代理可能具备强大的网路攻防能力，并透过欺骗、谈判或勒索等方式寻找现实世界中的代理人。在这种情况下，人类可能需要先打造一个受控的强大AI，才能防御其他失控的AI。

这也形成「制造它，是为了防御它」的悖论。

OpenAI首席科学家吁强化AI安全规范

在文章最后，Pachocki提出多项方向，包括将AI对齐框架从实验室内部的自律机制提升至具强制力的安全法律、促成整个产业放慢尖端AI研究速度的共识，以及建立跨国界的最高层级协调机制。

他认为，在AI能力持续快速成长之际，真正欠缺的并非算力，而是在人类仍能理解AI之前，建立足以观察与掌握其行为的能力。

文章也提到，随着GPT-6 Astra等新一代模型出现，以及大规模GPU持续投入AI训练，AI产业仍在快速推进。

Pachocki的警告则聚焦于一项核心问题：当AI能力成长速度持续超越人类理解与监控能力时，人类是否仍能掌握这项技术的发展方向。