对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大的机会，同时也意味着巨大的挑战。这是因为新技术必然带来新的安全问题和新的需求，而“黑客”往往能先一步利用新漏洞发起攻击，“防守方”则需要更快地响应和改变。
大模型技术亦如此。近日，在“C3安全大会·2024”上，亚信安全高级副总裁陈奋提出，自ChatGPT发布以来，大模型驱动的人工智能（AI）技术已让全球“黑客”开始狂欢，网络攻击和网络犯罪不断升级。陈奋的话不是危言耸听。他介绍说，过去“黑客”制造一个攻击性病毒需要数月时间，现在通过AI工具几分钟就能生成，大大提高了攻击效率，而大模型对编程语言的理解能力非常强，攻击者可以利用大模型迅速发现软件漏洞。
同时，还有一拨急功近利的“黑客”，利用AI算法批量深度伪造人脸视频，导致出现一波网络诈骗案例，还有攻击者盯上了AI算力基础设施和大模型平台等高价值的计算集群。据不完全统计，仅去年一年，针对大模型已经有10多种不同类型的攻击手段。亚信安全北极狐高级攻防实验室去年发现了一种“海绵样本攻击”。这种攻击手段并不复杂：向大模型发出一个特殊样本，替换正常的提示词，代之以复杂的语言内容，然后提交请求。
如此一来，大语言模型需要60秒以上才能响应并回答。
对此，陈奋在采访中表示：“未来很多核心应用可能都是大模型驱动的AI原生应用，在这样的攻击下，应用基本上瘫痪了。这只是一个比较基础的攻击事例，针对大模型的密集攻击很快会到来。”在此次安全大会上，中国工程院外籍院士、清华大学智能产业研究院院长张亚勤表达了类似担忧。“AI越来越强，这会带来很大风险。
”他提到，除了信息安全层面外，大模型的不可解释性、黑箱问题、参数数据风险等也指向AI本身存在的安全风险；此外，AI的可控性、可信性、边界等问题也迫使人们不得不特别审视AI的安全风险。
张亚勤表示，暂且搁置AI以假乱真的问题，它更大的风险在于给物理世界带来的影响。“想象一下，未来一个大模型可能会控制成千上万的车辆、无人机、机器人以及物联网设备，有的甚至直接连接国家金融等核心体系。我们能否控制它？如果被坏人所利用呢？届时，安全将成为最重要的议题。”
以大模型为代表的AI技术发展给信息安全带来了深刻影响，亚信安全的技术专家由此认为，大模型技术必然带来网络安全产业“技术范式的革新”。
这体现在多方面，涉及网络攻防角色、安全产品设计、保护对象的变化等。陈奋认为，从现在起，网络安全攻防将从之前人与人之间的对抗升级到AI与AI之间的对抗。“只有AI驱动的网络安全防护检测技术才能识别发轫于AI的黑客攻击技术。”他说，最典型的案例就是深度伪造的鉴别，“人眼肯定不如AI”。与此类似，未来网络安全产品的设计也需要大模型助一臂之力。
陈奋提到，从风险检测到产品体验、从风控到安全运营，大模型技术将推动网络安全产品的全面革新，“如果没有大模型的加持，可能就无法站在最有竞争力的舞台上”。
保护对象也将发生变化。如果一个企业或实体的核心应用是通过大模型驱动的，那么未来企业资产维护就将从传统的保护资产演进为保护企业的AI中心。类似的还有智能家居安全。随着智能联网汽车、智能家居等的普及，家庭信息安全将从保护个别终端设备演进为保护家庭的AI中心。
在大模型技术发展给网络安全行业带来“范式革新”的背景下，没有人可以“躺平”。
2023年，谷歌开发并推出了网络安全专有大模型“Sec-PaLM”，并将其全线接入谷歌云；今年4月，微软公司宣告Security Copilot（安保副驾驶）正式商用，通过将大语言模型和安全专用模型相结合，为企业提供信息安全助手。安全行业巨头更加不会坐失良机。
作为行业龙头，美国网络安全公司Palo Alto、CrowdStrike等已经在各自的安全运营平台集成了大模型的技术能力，并持续深化智能安全产品开发。
不仅如此，在全球最大的网络安全盛会“RSA Conference”最具影响力和人气的活动——“创新沙盒”大赛上，连续两届冠军都花落围绕“AI安全”做文章的初创企业。业内专家认为，AI安全连抢风头预示着网络安全正在迎来一场重大范式转移。
这一风潮也席卷国内。亚信安全调查显示，中国80%以上的网络安全公司都在将大模型技术集成到网络安全产品中，30%的公司已经开始做大模型安全的研究，并出现了一波AI安全创业的浪潮。
对于AI技术发展引发的安全风险问题，张亚勤表示，近两年来，他“个人花了很多时间思考并做一些事情”，包括专门组织一个20人左右的“AI发展与治理专题研讨会”，参与研讨的包括3位“图灵奖”获得者和两位深度学习领域的开创者。
他们每过一段时间就聚在一起，研讨相关主题。“我们认为，AI技术发展带来的安全和风险治理，不仅是政策制定的问题，也不单纯是科学问题、技术问题，只有政策制定者和科研工作者开展合作，将AI发展和治理融合起来，才能有健康的发展。”张亚勤说。
在充分研讨的基础上，张亚勤提出了5个长期建议。
一是对AI大模型分级管理，如万亿乃至更多参数的前沿大模型的风险相对较高，应加强监管；对应用在智能驾驶、生物系统等不同领域的大模型也要分级监管。二是AI生成内容要有清晰标识，包括AI生成的数字人、图文、音视频等，要像“广告”标识一样醒目标注，以方便甄别。三是要设立物理映射机制或系统。
无人驾驶汽车、智能机器人等智能体，应明确其作为“从属物”，有从属的具体管理人或管理机构等法定实体，相关智能体出现问题应追溯其从属的主体责任。他提出，现在就应着手制定相关法规。四是加大对大模型风险治理研究的投入。他建议政府或企业在开发前沿大模型时拿出10%~30%的资金，投放在与安全风险相关的技术和产品开发上。五是设定AI应用的红线。他提出，AI技术本身没有边界，但在使用大模型时，需要设定一些边界。
例如规范智能数字人不能无限制地复制，大模型技术用于金融、军事等核心系统设施时要设定清晰的红线等。“这不是一家企业、一个国家的事，而是需要全球政府和企业精诚合作，面对风险、解决问题。”张亚勤表示。