失控：自主AI与社会工程攻击

网络犯罪分子在新技术方面很少落后。事实上，他们往往是最早尝试新兴技术的人之一。他们没有合法组织所受的限制。他们可以快速行动、承担风险，并且无需考虑伦理或法律框架即可运作。

目前人工智能领域正在发生重大转变：自主人工智能。

自主人工智能系统超越了仅根据人类输入提供建议或支持任务的能力。相反，它们能够自行规划和执行任务。

在这个生态系统中，存在自主人工智能代理，这些代理集体能够计划、做出决策并以自主协作的方式行动。它们接收反馈、学习、适应并再次尝试。所有这些过程几乎不需要重大的人类参与。

简单来说：

• 自主人工智能 指的是多个AI代理协同工作的整个系统。这些系统能够做出决策、从反馈中适应，并完成目标导向的任务。
• AI代理 是该系统中的单个组件。每个代理负责特定任务。
• 自主工作流程 是指导AI代理如何协作的结构化流程。该工作流程使任务的多个步骤能够从头到尾进行，而几乎不需要人工干预。

有趣吗？我们的世界正在迅速变化。

上个月，Gartner发布了一份报告，预测到2029年，自主人工智能将能够处理80%的常规客户服务交互，而无需人工干预。

这自动引发了另一个问题：恶意行为者多久会遵循同样的逻辑并采用自主人工智能来创建自主、有效且看起来合法的数字交互，但用于恶意目的？

这一挑战已经开始显现。

由于大多数数字交互现在都始于线上，攻击者比以往任何时候都有更多机会。随着人工智能从辅助工具演变为能够进行长期规划和自适应决策的自主代理，网络安全行业面临着快速变化的威胁环境。自主人工智能的兴起为寻求自动化和扩展社会工程攻击的对手打开了新的大门。

让我们看看我们预计会看到的第一个发展。

1、自主人工智能与社会工程的未来：关键发展

自动化侦察。

AI代理可以通过多种方式被赋予在线侦察目标的任务。这包括：

• 识别物理基础设施中的漏洞（例如，建筑布局、入口点、安全控制）
• 绘制组织结构、政策和层级图（基于公开数据，如雇主评论网站、采访、泄露文件）
• 监控即将到来的旅行计划和公共露面（与高管保护相关）

但也可以：

• 行为画像；分析数字足迹以了解个人习惯、偏好、动机和弱点
• 定制社会工程方法；根据目标的行为模式、已知弱点和公司动态量身定制攻击策略

语音和视频深度伪造。

结合生成式人工智能，自主系统将能够近乎实时地逼真模拟高管、商业伙伴、客户或值得信赖的同事在电话或语音消息中的形象。这将减少深度伪造通常伴随的延迟（一个已知的检测线索），使恶意通信显得更加真实，显著更难被检测到。

链式互动与鱼叉式网络钓鱼尝试。

预期在线互动将变得更加自动化和改进。

到目前为止，当涉及LLM支持的数字互动（例如通过社交媒体、短信或鱼叉式网络钓鱼尝试）时，传统聊天机器人在长时间互动中往往难以保持对话上下文，而需要人工干预。这是因为基于规则的系统遵循固定的脚本，因此在长时间互动中往往会开始产生无关或碎片化的响应。

另一方面，自主人工智能的记忆和编排能力使其能够很好地跟踪长对话，保持对话流畅，并在整个互动过程中保持上下文相关性和连贯性，而无需人工监督。这预计将提高社会工程攻击的质量、可扩展性和有效性，特别是在针对特定个体的较长攻击场景中。

多向量方法的适应性

另一个关键发展将是系统能够根据目标如何回应其互动来学习和优化其方法。系统将收集哪些方法最有效的数据，以及对哪些目标配置文件、人口统计或甚至公司部门最易受影响的数据，从而使每次后续攻击更具吸引力和有效性。这可以包括多向量方法：如果网络钓鱼电子邮件不起作用，系统可能会继续进行鱼叉式网络钓鱼或电话文本/音频消息。

示例：

假设一个国家资助的威胁行为者正在部署一个自主人工智能系统，其单一高级目标是冒充会议组织者，并利用这个身份诱骗高价值个人进入网络钓鱼陷阱。这个过程是说服目标通过一系列个性化电子邮件接受在国外参加一场著名活动的邀请。最终目的是让目标注册会议并通过他们的Microsoft/Google/其他账户登录到欺诈性会议平台（该平台设置为窃取数据），然后下载一份恶意的注册表格。对目标而言看似只是行政任务，实际上是一个精心伪装的入侵尝试。

在幕后，自主人工智能将此目标分解成协调一致的目标网络。每个AI代理负责操作的不同部分。一个代理开始收集有关目标的开源情报，分析他们的兴趣、过去的演讲经历和数字足迹。另一个代理起草初始的外联电子邮件，并以一种与收件人产生共鸣的语气、主题和细节进行调整。第三个代理监控回复，分析情感和参与模式，并调整未来信息的语气或内容。另一个代理可能负责整个协调工作；跟踪进度、管理依赖关系，并确保互动之间的连贯性。

这个系统的强大之处不仅在于其结构和自主性。还在于它的适应性。如果目标忽略了第一封邮件，系统不会停止。它会分析原因。是信息太模糊了吗？太通用了吗？还是沟通渠道不对？反馈回路启动了。运动不断发展。一封带有更好钩子或更有利背景的修订邮件发出去了。系统不断学习和迭代。如果一条路径失败，它会调整方向。如果一种战术奏效，它会被保存并在具有类似配置文件或背景的其他目标身上重复使用。

系统一直在努力工作。不需要睡觉，不需要团队协调的延迟，也没有犹豫。只有持续优化以实现目标。每一次互动都是数据。每一个数据点都是一个教训。每一个教训都被反馈到系统中，使下一次尝试更聪明、更快、更有说服力。

2、现实检查

我们能期望自主人工智能实际完成所有这些任务的程度如何？毕竟，大型语言模型和AI克隆工具并不完美，基于它们构建的系统也是如此。

好吧，这还有待观察。然而，毫无疑问的是，我们已经看到了所有AI系统呈指数级改进，即使它们的第一代模型存在显著缺陷。我们可以期待自主人工智能系统的能力也会有显著发展。

如果历史是一面镜子，今天看似科幻的东西明天可能悄悄成为攻击者的工具箱的一部分。

3、那么……现状如何？

今天的网络钓鱼骗局不再带有拼写错误、奇怪的口音、模糊（或不存在）的视频和明显的红旗。它们带有完美的语法、相当逼真的克隆声音，以及从未存在过的人或被克隆得像你的经理、高管或同事的视频。

我们已经看到网络钓鱼和鱼叉式网络钓鱼尝试的质量和数量都在明显增加。针对性攻击也变得更好、更个性化、更难被发现。

这不仅是我们从客户案例中看到的情况。这些发现也在行业报告中有所反映，例如ENISA的2024年威胁景观报告和V erizon的2025年数据泄露调查报告。

虽然基于语音和视频的攻击仍在发展中，但它们的进步很快。目前，创建令人信服的语音和视频克隆仍然需要时间和努力，尤其是在动态、实时对话中。深度伪造视频仍然相对罕见，但语音克隆在威胁行为者中越来越受欢迎，尤其是在WhatsApp等平台上以预录语音消息的形式。

令人惊讶的是，一些基于音频的攻击即使听起来“机械”或说话风格与应该发送的人不同，也证明是有效的。

为什么会这样？

我们生活在一个员工同时肩负多重责任的时代。他们对自己的工作和家庭有更高的期望，面临的压力和压力比以往任何时候都大。

这不是一个很好的变量组合，不利于清晰思考和适当的认知过滤。

再加上不足、被动的培训（通常是每年几次的15分钟视频）。

这就是危险的鸡尾酒。完美的风暴。

4、最后几点想法

尽管有了所有的发展，一些组织仍然说这样的话：

“我们的员工一直在掉入基本的网络钓鱼邮件陷阱，我们已经放弃了试图改善这一点。他们只是录制视频培训，我们完成了合规检查，这就结束了。”

“哦，我们可以承受一些安全打击。我们会恢复，支付一些费用，就结束了。”

“社会工程很简单，就是一些网络钓鱼邮件，我们在培训中这样做，进展顺利。”

这种心态与网络安全弹性的工作毫无关系。这是一种否认。是一种滋生危险自信的无忧无虑的无知状态。当你把这种态度与能力日益增强的威胁行为者和自主AI代理结合起来时，这不仅仅是一场风暴，而是一场飓风。

但也有另一种情况。

值得庆幸的是，我们也看到许多有责任感的安全领导者。那些理解网络安全弹性是一个过程并采取积极措施不断改进每一层网络安全的人。这不是一项容易的任务，但从我所看到的情况来看，他们的组织通常在网络安全态势上要好得多（至少在我有机会检查的领域）。

当我教授公司内投资于“人力防线”的社会工程防御课程时，看到他们的安全领导者采取必要步骤与员工讨论、提供面对面培训（从而有机会提问）并组织帮助员工深入了解安全重要性的倡议，这既令人鼓舞又令人欣慰。我看到这些员工通过更好地检测和阻止社会工程尝试来展示这种理解。

我相信主动性的有效性。而且当不主动时，我相信连锁反应。在社会工程防御中，这看起来是这样的：如果一个组织没有准备好应对标准的社会工程攻击，那么它也不会准备好应对AI增强的社会工程攻击。如果他们不够主动去准备AI增强的社会工程攻击，那么下一波来袭时将会受到重创。

社会工程不会变得更易于检测。我们不会回到过去。在未来几个月里，威胁行为者将继续优化他们的攻击并利用人工智能。自主人工智能系统很可能已经被一些网络犯罪集团测试。我们仍然有一些时间，直到这些类型的代理开始成为社会工程的新常态——但时间不多了。

组织需要加强防御，以应对这些发展，使用AI驱动的网络安全工具，投资更好的质量安全培训项目，并在团队中培养共享网络安全责任的文化。

那些理解这一转变并为之准备的组织，将是那些能在洪水中保持头脑清醒的组织。那些继续依赖过时假设和打勾合规的组织将发现自己处于危险的暴露状态。

原文链接：When AI Goes Rogue: How Agentic AI Will Reshape Social Engineering Attacks

汇智网翻译整理，转载请标明出处