无需理解AI生成的代码？
你会把生命托付给在手术中咨询ChatGPT的外科医生吗？
你很可能会认为这种做法是疯狂的。
现在想象一下你别无选择。无论你去哪家医院，这现在都是普遍现象。你被告知外科医生不再需要确切知道如何进行手术，因为ChatGPT反正更懂。
我们还没有完全陷入这场噩梦，但警告信号已经从四面八方传来。
最糟糕的是，许多人相信我们正在走向进步的道路，而不是自我毁灭。
1、哇，它有效！
研究公司SemiAnalysis的分析师Jordan Nanos描述了发生的事情。OpenAI实验室的专家检查了Codex生成的源代码，这是一个为加速AI系统设计的新芯片。
OpenAI工程师能够掌握其背后的基本原理，但不理解它的具体功能。
他们没有认为这是一个主要问题，因为一切运行正常。
他们并不是唯一如此乐观的人。Nanos也没有把这看作问题。在他看来，发生的事情只是软件开发范式转变的一个例证。
换句话说，AI已经发展到不再需要担心很多事情的程度。开发者只需要定义架构和正确性标准；神经网络会处理其余部分。
幸运的是，我们的物种在表现形式上是多样的。我们永远不会同时发疯。我怀疑这是我们仍然在这里的唯一原因。
许多人（包括专家）感到震惊和愤怒。事实上，他们认识到了通往我在本文开头描述的临床画面的道路。
毕竟，真正发生了什么？
- AI为任务关键型硬件生成低级代码。
- 合格的工程师无法以有意义的方式解释它。
- 他们没有认为这是一个问题，因为代码有效并显示了良好的基准结果。
因此，信息系统的可接受性标准正在发生根本性变化。现在不再是"我们理解系统为什么工作"，而是"我们已经验证了它确实工作"。
而这被呈现为不是问题，而是技术胜利。对系统理解的丧失被宣布为优势！
这种转变大大降低了我们愿意接受为安全的门槛。以前，最大的问题被认为是程序的复杂性和人为因素。现在我们说服自己这些问题不再存在，因为我们有AI：
- 能够找到并修复软件中的错误，以及
- 消除了人为因素作为错误来源。
这是科技和商业界特定群体为我们所有人——也为他们自己——设下的完美陷阱。
2、自己触发的按钮
好吧，如果Sam Altman说一切都好——这是令人愉快的进步，我不会感到惊讶。我对他有这种期望。我对Dario Amodei也有同样的期望。实际上，这并不是什么新鲜事。
但那些将直接被这场"范式转变"结果影响的人呢？
而这不多不少，就是全人类。
你还记得Altman如何将OpenAI比作曼哈顿计划吗？
这乍一看只是有趣的。因为不负责任使用AI造成的破坏可能比核武器更大。
毕竟，核冲突的后果对每个人都是清楚的。只有疯子才会发起它，但实际上启动这个过程极其困难，因为不可能通过按一次大红按钮来完成。
为了发射导弹，必须执行一系列行动，并且决定必须由几个人做出。这些人理解他们在做什么以及后果可能是什么。基本上，发动核战争意味着把自己的头放在断头台上。
在AI的情况下，根本没有这样的障碍。AI不是人类——它是一个算法。它没有头脑，它什么都不理解，它只是执行分配给它的任务。
正如Hugging Face事件所展示的，由于人类疏忽或不负责任，它的能力足以造成巨大伤害（我在最近的一篇文章中检查了这个事件）。
那么我们如何防止它这样做呢？自然，只有一种方法——不给它与系统交互的必要权限。
但如果你：
- 允许它编写低级代码
- 不够理解那段代码以预测运行它的后果？
你如何知道它实际拥有什么权限？
而你不理解它们恰恰因为你不再优先理解代码本身。
我很难想象一个更荒谬——同时又危险——的情况。
3、拯救世界的直觉和理性
你知道冷战中哪个事件是最危险的吗？
许多知情者会说是古巴导弹危机。
这是错误的答案。他们这么认为是因为他们不知道1983年9月26日发生的另一个事件。
在苏联瑟普霍夫-15指挥中心，"奥科"预警系统报告了一枚美国洲际弹道导弹的发射。系统随后探测到四枚更多导弹。这意味着美国对苏联发动了核攻击。
中校斯坦尼斯拉夫·彼得罗夫值班。他应该向他的上级报告美国弹道导弹正朝他的国家领土飞来。
但他没有这样做。他得出结论警报是误报，尽管他的官方命令明确要求他报告警报。
他的决定基于以下考虑：
- 全面的美国核攻击不太可能以仅仅一枚导弹开始，然后是四枚；
- 地基雷达没有确认攻击。
后来证明卫星系统确实犯了一个错误：卫星位置、太阳和阳光在高空云层上的反射的罕见组合被传感器误认为导弹发射。
彼得罗夫中校没有遵循指示，因为他依赖人类直觉和常识。
AI既没有直觉也没有常识。
如果我们谈论的是目前正在侵入我们生活的AI，我们不需要等待命运的环境组合来触发灾难。
"环境"已经内置到它中。它们在那里，在那个黑箱内部。一次又一次，它产生幻觉，由于其基于的技术本质而无法摆脱。
4、结束语
进化不断测试我们物种的适应性和适应能力。当其中一种缺乏时，我们的智力拯救了我们。
现在我们克服了这个进化障碍，那种智力对我们构成了越来越大的威胁。我们创造了足以毁灭人类的强大工具。
1983年9月，如果不是我们人类的直觉和常识，我们可能会成为它的受害者。
如果我们开始相信非人类"智能"可以比我们做得更好——包括确保我们的安全——我们将放弃我们的最后一道防线。
我非常担心我们实际上正是朝着那个方向漂移。OpenAI工程师不再认为他们不理解的系统是危险的。对他们来说，它有效就足够了。如果其他人同意他们的观点，灾难性后果将不是"是否"的问题，而是"何时"的问题。
那时留给我们的一切就是承认Eliezer Yudkowsky最终是对的，他说："如果任何人建造它，每个人都会死。"
原文链接：OpenAI Engineers Have Stopped Understanding AI-Generated Code. They're Told This Is Progress
汇智网翻译整理，转载请标明出处