流量威胁检测的重要性不言而喻。
回顾发展历程,交通威胁检测技术经历了从常规匹配到句法和语义匹配,再到统计分析与行为分析相结合的机器学习小模型等技术路线。
我们可以窥见一下体现它的攻击方式的升级迭代:从一开始特征明显,逐渐变成弱特征,甚至是组合使用系统性的攻击方法,再到最新的智能方法。
《世界互联网发展报告2023》显示,网络攻防进入智能对抗时代,低成本自动化的新型网络攻击形式层出不穷。
攻击者已经在使用大型AI模型,快速构建攻击工具,并批量生成混淆攻击**,并结合全方位的立体攻击方式(如0day漏洞攻击、针对性钓鱼、C2加密通信等)。 许多人仍然痴迷于通过不断堆叠规则(包括整合基于云的智能)来让传统检测引擎响应新的威胁,但这无异于用鸡蛋砸石头。
深信服不走老路,用游戏规则改变者的思想创造了一种独特的方式——用大模型赋能流量检测。
打破传统检测引擎
超越通用模型的六大能力
深信服安全GPT可以作为检测引擎,赋能态势感知等传统安全设备,具备对未知攻击意图的理解、异常判定、混淆减少的能力,并完成了检测模型的标准化。
基于数千万语料库、千亿级代币的高质量训练数据积累,早在今年4月,安全GPT检测大模型的效果就已经明显超越了业内众多基于规则和小模型的流量检测引擎。 经过5000万样本的内部数据检测,与传统流量检测设备相比,安全GPT的检测率从平均57提升4% 至 924%,误报率增加426% 至 43%。
从实践到实践,安全GPT检测模型一次又一次地证明了它的实力:
1.多方连续验证检测效果
8月,在2024年大规模实战攻防演练中,安全GPT检测模型在没有任何先验知识的情况下,在现场发现了50+0day漏洞利用攻击。
从9月到11月,深信服蓝服根据检测模型的研究判断结果,捕获了32个野外利用的零日漏洞,并向监管机构报告了漏洞详情。
10-11月,对安全GPT模型进行了多位用户的验证,结果显示,安全GPT对25个高度混淆数据包的检出率为100%(可以绕过传统引擎和通用大模型GPT-4),而对于三层混淆样本,既没有检测到传统引擎,也没有检测到通用大模型GPT-4在实际网络环境下,业界传统SoC和NDR产品的检出率为125%,安全GPT检出率高达974%。
2.所有六种能力都超越了一般模型
结合安全专家的经验,我们认为服从六纬评估安全GPT检测大模型的效果,哪些是最佳的理解能力、对攻防对抗的理解能力、对模型的推理能力、对安全基础知识的了解能力、编排任务的能力、 以及消除模型错觉的能力。
结果表明,安全GPT检测模型的6种能力均优于通用模型。
我们知道,检测高度依赖于理解攻击的能力**。 一般大模型的参数至少为十亿,其理解、泛化、表达能力远远超过传统的机器学习小模型,无法与传统的规则引擎相提并论。
如今,一般的大模型可以高层次、准确地解读复杂的攻击,不亚于高级人类专家。 然而,深信服真正将大模型的能力应用于实时流量检测和判断,并取得了更好的效果。
安全GPT检测模型就像一个流量研究判断专家,懂攻防,懂得最好,懂协议,不断检测分析流量,从而发现传统检测引擎无法发现的高对抗、高绕过的流量攻击。
为什么安全GPT检测的大模型会降低维度?
深信服通过知识提炼、模型量化、模型剪枝、注意力机制优化等方式,将安全GPT的推理性能提升50倍,实现对实际网络环境下实时流量的实时检测。
因此,在实战测试面前,安全GPT取得了压倒性的胜利,从以下三个方面,几乎到传统检测引擎降维攻击。
1.样本数量少 无需样本即可检测新威胁
传统的语义分析技术开发成本高,无法应对新语言,导致传统检测引擎无法抵御零日漏洞和高逆向攻击。
通过学习大量开源特征,安全GPT检测模型对首先的语义有了深刻的理解,从传统的GAP Payload特征检测发展到对整个数据包进行综合分析的维度,可以在弱特征攻击中挖掘出真正的攻击目的, 从而实现精准检测,减少误报。
大型安全GPT检测模型还可以绕过类,实现更强的泛化能力,甚至可以在少量样本中没有样本的情况下,基于Zero Few-Shot技术检测新威胁,从而大大提高零日漏洞攻击的检测率。
2.解决行业在攻击结果分析中存在的问题
众所周知,判断一次攻击是否成功是业界的难题,也是安全运营工作的主要环节。 传统的攻击成功检测引擎主要面临三大问题:攻击成功无回声、成功特征不固定、有效载荷难以理解混淆。
安全GPT检测模型不仅可以还原攻击中被混淆的负载,还可以动态识别响应报文中是否存在攻击成功的特征。 在下图中,通过将混淆后的有效载荷恢复到最简单的模式Whoami,安全GPT可以准确识别攻击意图,并进一步关联分析响应的内容,从而判断攻击是否成功。
同时,对于成功的攻击场景,不同的命令有不同的回显,有些命令回显不能提及规则(例如whoami回显zhangsan)。 安全GPT检测模型在对大量垂直领域数据进行训练后,可以找出潜在攻击成功回波的特征。
3.自然语言助力有效的告警研究与判断
传统的检测引擎只有在提供威胁事件的证据时才能突出显示恶意点。 然而,安防操作人员的能力参差不齐,该方法无法直接有效地辅助其告警研究和判断,往往导致对高危事件的漏判和误判。
安全GPT检测模型可以利用自然语言对消息进行多维度分析,辅助运营人员高效研究判断告警,突破人员能力和精力瓶颈,真正实现“1名普通工程师+安全GPT检测模型=N名安全专家”。
安全GPT检测模型是如何制作的?
深信服作为国内最早应用AI的网络安全厂商之一,早在2024年就投入了决策AI技术的研究和应用。 2024年,深信服持续加大AI技术,确立了AI FIRST研发战略,在网络安全和云计算领域取得了切实有效的AI技术突破。
因此,深信服积累了完善安全GPT的必要要素:
1.用于 AI 模型训练的高质量数据和计算能力
持续积累1000亿级代币安全语料库。
自动化训练数据生成和质量管理平台。
55W+安全设备及组件接入云端。
每天有数千万个训练样本更新。
基于托管云的分布式计算平台。
2.云网侧智能产品架构
在整个实施过程中收集数据、模型训练和部署安全产品。
中国率先推出了SASE和MSS等基于云的产品和服务。
Genius AI研发平台的模型训练速度提升了35次。
全国100+节点托管云,支持在用户附近部署安全GPT。
3.四合一专家团队
快速打造一支兼顾安全与AI的专业团队。
深信服认为,“大模型+数据+安全与算法专家”形成的飞轮效应,将持续为安全GPT在威胁检测方面的提升带来巨大潜力。
天下没有路“,深信服将踏上独具特色的安全GPT检测模式之路,持续引领先锋体验,致力于让每一位用户在安全面前领先一步。