5大AI人工智能安全风险

人工智能不再只是未来关注的问题。它深深植根于进攻和防守。随着新漏洞的出现、大量开源模型的使用以及攻击者的创造力越来越大，我们警告过的风险现在非常真实。

1.深度伪造和合成身份欺诈 

深度伪造攻击已经从罕见的头条新闻转向了常规的威胁。2025年年中，朝鲜的BlueNoroff（也称为TA444）使用Zoom上公司高管的深度伪造视频通话来欺骗员工安装自定义恶意软件。

语音克隆现在更加危险。微软的VALLE、ElevenLabs和开源替代品等模型可以从几秒钟的音频中复制声音。攻击者模仿受信任的人物，如总监或部门负责人，以欺骗员工进行电汇传输、共享凭据或发布敏感数据。

后卫正在使用Vastav AI等工具来回应，这些工具可以分析媒体、面部运动和音频元数据，以检测篡改。但检测往往滞后，攻击通常在任何人做出反应之前就成功了。

2.及时注射、越狱和零点击漏洞  

快速注入和越狱仍然是关键的漏洞。在2025年，我们将看到更多的零点击提示注入攻击，只需接收电子邮件或日历邀请就可以触发漏洞，而无需任何用户操作。

一个突出的案例是EchoLeak（CVE 2025 32711），这是Microsoft 365 Copilot中的一个零点击提示注入漏洞。精心制作的电子邮件滥用了Teams代理、自动获取图像和Markdown引用，以触发特权升级和数据泄露，而无需用户单击。

研究还表明，大多数商业人工智能应用程序仍然很脆弱。最近的一项研究发现，36个移动银行或金融聊天应用程序中有31个可以通过即时注入来利用。

3.人工智能辅助勒索软件和多态性恶意软件 

2025年，勒索软件已经发展起来。攻击框架越来越受到人工智能的辅助，实时适应有效负载。一个名为Ransomware 3.0的概念证明展示了AI策划的ransomware原型如何从二进制文件的提示中动态规划、突变和执行攻击阶段。

同样在2025年底，ESET确定了PromptLock。它是第一个已知的人工智能驱动的勒索软件，可以在本地运行，生成动态脚本来枚举文件、渗透数据和加密Windows、macOS和Linux的系统。

这些威胁绕过了传统的防病毒和启发式检测，迫使防御者依赖行为分析和异常检测，而不是签名匹配。

4.黑暗法学硕士、供应链和影子人工智能 

攻击者越来越多地使用黑暗的LLM或为恶意使用而修改的开源模型。他们还在滥用未经审查的第三方工具和API。供应链现在是一个主要的威胁载体。

Anthropic最近警告说，黑客正在利用Claude来自动化侦察、凭证收集和其他渗透步骤。这些活动影响了政府、医疗保健和教育部门的组织，经常要求为被盗数据提供赎金。

模型也在后门或重塑品牌，并在地下论坛上出售。这些黑暗的LLM经常剥去所有的安全护栏，使他們很容易成為犯罪助理。影子人工智能——员工使用未经批准的人工智能系统——使情况变得更糟，因为IT团队没有可见性或控制权。

5.数据泄露、对抗性中毒和模型完整性 

除了恶意输入或恶意软件外，人工智能模型本身也受到了攻击。对抗性中毒将损坏的数据输入到训练或微调管道中，以便模型在部署后行为不正确。

最近关于广告嵌入攻击的研究表明，攻击者可以毒害模型检查点，使输出包含恶意促销或隐藏指令。

随着人工智能代理成为工作流程的一部分——浏览器、生产力套件和聊天平台的副驾驶——他们还被迫执行未经授权的操作，例如安装恶意软件或通过泄露的输入通道泄露数据。

展望未来：代理对手与自主SOC 

人工智能在网络安全领域的下一阶段将不仅仅是关于更快的网络钓鱼或多态性勒索软件。这将是关于代理的。

代理人工智能的对手将像数字雇佣兵一样运作。他们将运行持续的活动，而不是单一用途的脚本：探查弱帐户的身份系统，转向云应用程序，并渗透数据，同时适应他们遇到的每个防御。他们将自动将工具链式连接在一起，并行发动数千次微攻击，并跨供应链进行协调，以同时颠覆整个行业。

另一方面，后卫们正在向自主SOC赛跑。人工智能驱动的运营中心将跨端点、网络、云和身份获取遥测，而不是人类淹没在警报中。他们将决定哪些信号很重要，实时采取遏制措施，并且只升级需要人类判断的信号。承诺是，学区IT总监或拥有两名管理员的中型企业可以在财富100强SOC的影响力和规模下运营。

哪一方首先倾斜平衡是十年的问题。如果攻击者在防守者扩展自主SOC之前完善了代理人工智能，我们可能会看到一波压倒传统反应的高速妥协。但是，如果捍卫者深入而智能地整合自动化，人工智能最终可以颠覆网络安全的经济学——使防御更便宜、更快、更可扩展，以击败攻击。