bandao.com黑客已经盯上了大模型！面对AI带来的安全风险 需要“用AI对抗AI”“过去，黑客生产一个攻击病毒需要数月时间，现在通过大模型工具可能几分钟就能生成，大大提高了攻击的效率。同时大模型对于编程语言的理解也非常强，攻击者可利用大模型迅速发现软件的漏洞。还有一波急功近利的黑客，利用AI的算法在视频中做人脸的深度伪造，产生了新一波网络犯罪的涌现。”

　　同时，攻击者的攻击目标从传统的资产盯上了AI算力基础设施和大模型。“年初美国一个数千台服务器的算力集群被攻破，黑客拿去挖比特币bandao.com。AI算力基础设施就是高价值的GPU集群，这无疑具有巨大的力，甚至大模型本身也有可能被利用。过去短短一年时间，针对大模型的攻击手段已经涌现出10种不同的类型。”陈奋称。

　　目前，国内外厂商都针对大模型领域推出了安全产品。微软在5月份正式商用了Security Copilot，声称在未来要投入千亿美金在上。谷歌去年发布了网络安全专有大模型，已经应用到云安全能力中心中。巨头Paloalto、CROWDSTRIKE均在其安全运营平台集成了大模型的安全运营能力bandao.com。

　　国内的相关数据显示bandao.com，80%以上的公司都在将大模型技术集成到网络安全产品中，30%的公司已经开始做大模型安全的研究，也出现了一些安全创业的浪潮。

　　针对AI技术发展带来的安全风险，中国工程院院士、清华大学智能产业研究院院长张亚勤则建议，从事前沿大模型的企业或机构，要把10-30%的投资投到相关研究或产品的开发。

　　在张亚勤看来，特别是大模型在带来新机遇的同时，本身存在很多安全风险，这促使信息安全的范畴需要扩大，包括AI本身的安全风险，模型的参数数据、模型对人类的攻击性bandao.com，不可解释性、黑箱等，以及可控性、可信性、边界等问题。

　　陈奋向《科创板日报》记者介绍，去年已经发现了针对大模型的海绵样本攻击。大致原理是通过向大模型发布特殊的样本，让算力消耗急剧上升。原来几秒钟能做出响应的需求，被攻击后需要大量的时间计算bandao.com。哪怕停止攻击以后，同样的一个请求，大模型也需60秒以上才能返回，即原来的20倍以上。

　　“如果未来的核心应用是大模型驱动的AI原生应用，基本上等于瘫痪了。这只是一个相对基础的攻击事例，可以看到针对大模型攻击很快会到来。”

　　谈到AI对安全产业的影响bandao.com，陈奋认为，大模型技术、GPT技术必然带来网络安全产品技术范式的革新。网络安全的攻防从原来人和人之间的对抗，升级到AI和AI之间的对抗bandao.com。只有AI驱动的网络安全防护检测技术才能识别AI驱动的黑客攻击技术bandao.com。最典型的案例是深度伪造，人眼可能都看不出来的人脸替换，只有通过AI技术才能识别出来。

　　同时，大模型技术将推动网络安全产品全面革新，从检测到产品体验、安全运营，带来网络安全产品设计范式全面的变化。这意味着安全厂商如果不及时转型，将丧失未来的竞争力。

　　此外，保护的对象也发生了变化。对于企业而言，如果未来其核心应用是通过大模型驱动的，那么保护企业的资产就从传统的资产演进为保护企业的AI中心。在个人的家庭安全方面，也从原来个人的家庭终端演进为保护家庭的AI中心。

　　“从传统个人的桌面、手机，演化到智能家居、智能汽车，甚至未来每个家庭可能都有一个人工智能。一旦AI走进千家万户，私人所有的数据人工智能都会知道。如果AI被黑客所控制，那是非常可怕的。个人的隐私、数据，可能就被黑客窃取走了。”陈奋称。

　　自大模型热潮以来，国内已有多家安全厂商纷纷推出了安全大模型。例如推出了网络安全自研大模型信立方，奇安信推出了Q-GPT和大模型卫士、深信服有安全GPT2.0，启明星辰等厂商也都推出了相关产品。

　　陈奋认为，大模型时代的安全问题可分为两大类，一是Security For AI，主要聚焦在保护算力安全的基础设施，以及保护大模型的安全；二是AI For Securitybandao.com，主要聚焦在网络安全行业的垂直大模型的研发，以及在此之上做网络安全的智能体以及安全应用。

　　《科创板日报》记者了解到，除了深度微调开源大模型bandao.com，也与业内的大模型公司比如与智谱AI合作；在算力生态上，与星云算力等算力公司进行合作；在科研生态上，与清华大学合作建立了联合实验室。

　　“如果自己构建算力中心，代价很大。所以我们选择跟算力公司合作，租用其算力节点，按需获得想要的算力。他们则会直接买我们算力云的安全解决方案。我们既拿到了想要的算力，又能够提供我们的安全服务。”陈奋表示。

　　对于大模型的开源和闭源路线之争，陈奋介绍，“我们自己也微调了很多开源大模型，确实能达到一定的效果。有些场合上，闭源的大模型效果应该是最好的。在行业场景上bandao.com，闭源大模型带来的通用能力会比开源得更好，所以我们坚持闭源和开源相结合路线%的大模型研发经费要投入至安全风险

　　在AI所带来的安全风险方面，张亚勤介绍，“近一到两年来个人花了很多时间在做相关的事情”，包括专门成立一个20人左右的“人工智能发展与治理专题研讨会”——参与人员包括三位“图灵奖”获得者和两位深度学习领域的开创者，每过一段时间就一起研讨AI的发展和风险治理。

　　机器人，十年之后人形机器人可能比人类要多很多倍。而AI智能体bandao.com、机器人四是要加大对大模型风险安全的投入