Vibe Coding 灾难的爆发
AI 编程工具确实正在颠覆软件行业，但几乎比我所见过的任何事物都更属于那个"如果没有丰富的前期经验，你不应该在家尝试"的类别：
Reddit 上 vibe coding 灾难故事堆积如山。除非你介入并为 AI 建立结构，否则它就会推送垃圾。
以及特别值得阅读的这篇长文报道的另一个案例，已经完全刷屏了。
这样的彻底失败当然是完全可以预见的（正如我在 X 上一条约 200 万次观看的推文中指出的），对于一个模仿数据而不真正理解被要求做什么的系统来说也不足为奇。
我确信我们很快就会看到更多涉及隐私、安全和数据丢失的灾难性失败。已经有很多了。
但这与 Anthropic CEO Dario Amodei 有什么关系？该怪谁？这一切意味着什么？
我稍后会讨论后两个问题。也许最重要的一点，一个远超编程范畴的观点，在文章末尾。
但首先，我提到 Amodei 的原因是他对 AI 编程的持续炒作，尤其是几天前的这句话：
我不知道这是即将到来的 IPO 之前的拉高出货，还是他真的相信自己说的话。
但他说的意思是我们可以消除不仅是代码编写者，还有架构和维护系统的人。在我看来，这极大地夸大了自主 AI 目前能够做到的事情。
而且远不止我一个人这么认为。例如，软件架构传奇人物 Grady Booch 在 X 上严厉批评了 Amodei，写道：
"我认为 @DarioAmodei 不理解软件工程，他正在拼命推高公司的估值，以期待即将到来的 IPO。"
有影响力的软件工程师 Gergely Orosz 同样批评道，"唯一相信[Amodei 说的]任何话的人是不会编程的人"，并澄清这些工具只有在用户已有经验的领域中被监督时才能完全可靠地工作。
像 Amodei 这样的荒谬言论炒作了编程代理就是我们所需要的一切这个想法。事实并非如此。
§
当灾难降临时，很多人想怪用户。这有一定道理。用户应该有独立的异地备份（以及做很多很多其他事情。当然，每个有经验的程序员都应该知道这一点。
但我们刚刚创造了一代不懂这些的 vibe coder。
而且我们现在有大量合成编程代理（如 Cursor），它们显然也不总是遵循这些基本原则（例如始终保持独立备份）。
这正是为什么我们不应该信任编程代理。
§
人们不断将越来越多的 vibe coded 灾难归咎于用户。这样做只对了一半。
用户确实犯了错——让 vibe coded 的东西访问他们的文件，没有适当的备份，没有适当的监控，没有足够的系统管理等。
但这恰恰是为什么我们仍然需要软件工程师——也是为什么 Amodei 最近关于软件工程师将消失的说法如此荒谬。
熟练的程序员可以在仔细监督下使用 vibe coded 工具。
但业余者使用 vibe coding 工具是在自找麻烦。
在没有强大的编程和软件维护及系统管理前期工作知识的情况下使用它们就是错误。
§
X 上的另一个话题是关于为什么一些程序员在最初对编程代理着迷后又开始手写代码了。
答案的部分原因是（如上述作者在其帖子中指出的），使用 AI "太容易让代码库变成垃圾"——这意味着你编写代码后，很难维护它。（例如，人们有时最终会得到数据的多个副本，这可能导致难以诊断的下游问题）。可维护性是继数据丢失、隐私泄露和安全漏洞等反复出现的问题之后的又一个严重问题。从长远来看，它可能是最严重的。
§
现在有趣的是，像 Claude Code 这样的工具实际上可以非常有用。（如前一篇论文中所述，它们是神经符号系统，不是纯 LLM，但那是另一天的话题。）
但你必须理解这些推文的含义，以及如何据此行动，才能安全地使用它们：
而大多数人不知道。
在非常有技能的从业者手中——那些非常注意并严格审查输出的人——编程代理可以令人惊叹。但这种编程代理无法依赖的专家知识，正是为什么我们需要让软件工程师保持在环路中。也是为什么我们这些知情人士很难认真对待 Amodei 关于消除软件工程师（那些审视整个问题，而不仅仅是孤立的代码片段的人）的炒作。
§
但我还有最后一个教训，这是最重要的一个，即使你不是程序员、从不打算使用这些工具也相关。那就是：
AI 代理是极其不成熟的技术，正在以过快的速度推出。关于正在流传的 vibe coded AI 代理灾难故事，最深刻的教训不是关于丢失你的数据。
而是关于 AI 安全。
在数据丢失情况中的用户并不（完全）天真。他认为（并在他上面链接的文章中明确指出）系统提示（AI 公司内置的隐藏提示）和护栏会拯救他。
它们没有。
被称为 @lifeof_jer 的用户发现的是，用他自己的话说，系统提示——当今构成"AI 安全"大部分平庸工作的基础——仅仅是"建议性的，而非强制性的"，系统经常遵循但不总是遵循的东西。
换句话说，编程代理，以及延伸到大部分生成式 AI，都不能可靠地遵循规则。一个不能被信任遵循自己规则的系统，就不能被信任。句号。
在这个案例中，用户只是丢失了数据。最终，人们会失去生命。
原文链接: Dario Amodei, hype, AI safety, and the explosion of vibe-coded AI disasters
汇智网翻译整理，转载请标明出处