文章总结: 文章分析了AI在网络安全攻防两端的应用与影响。攻击端AI降低了技术门槛,使钓鱼攻击更精准,攻击链更自动化;防守端AI主要增强而非取代人类,应用于日志分析、终端检测和代码安全扫描等领域。文章指出AI安全面临数据质量、场景错配和自身安全等挑战,未来将向安全数据基础设施、AI融入SDLC、自适应防御和模型治理方向发展。建议安全团队聚焦核心场景、理顺数据流程、建立跨部门合作。结论是AI不会取代人,但使用AI的人会取代不用AI的人。
综合评分: 91
文章分类: AI安全,网络安全,安全建设,安全运营,威胁情报
聊一聊AI赋能网络安全
原创
Max Luo
白帽子罗棋琛
2025年11月15日 15:32
中国香港
引言:
这两年,安全圈几乎所有东西都在往 “+AI” 上靠:渗透要上大模型,SOC 要上大模型,代码扫描也要上大模型。表面上是技术革命,落到一线,其实就三件事最让人关心: 攻击端变强了多少?防守端到底有没有质变?这波浪潮对安全团队,是机会还是新一轮加班和背锅? 这里面我们从攻防两端的变化讲起,再聊聊现实中的几盆冷水、未来三到五年的方向,以及安全团队当下阶段最值得优先投入的几个高 ROI 场景。
一、攻防两边都上了AI
1、先看攻击端
以前做钓鱼邮件、社工攻击,多少要懂点目标画像跟文案打磨能力。现在大模型直接实现千人千面定制:按岗位、行业、甚至个人社交痕迹模仿语气,传统的错别字、语气异常等特征基本消失。再叠加语音合成、Deepfake 视频,直接让电话核实这种兜底手段的可靠性降低。还有一块是自动化。过去写扫描脚本、搭建基础设施需要一些脚本功底。现在很多攻击链已经变成:用模型生成脚本,用模型改 payload,用模型debug,不是说攻击者变聪明了,而是门槛被压得很低,Codex、Claude Code 的Coding 能力已经抹平了很多技术差,小团队也能拼凑出以前要很专业的团队才能玩的操作。
2、再看防守端
防守这边,用得最多的几个方向大概是这样:
2.1 日志和告警
传统 SIEM 靠规则和经验,告警一多就淹没人。现在主流玩法是把大模型接入日志流,做自动化聚类、线索关联和意图解读。本质是把分析师最耗精力的那部分翻日志、串联线索的重复性工作交给模型干。
2.2 终端和流量检测
之前靠特征库和规则,变种一多就杯水车薪。现在做行为分析的方案会把进程树、命令行、网络行为喂给模型,让它学习“正常长什么样”,然后去抓偏离的行为。好处是能抓到一部分没有现成特征的东西,坏处是上线后大家发现:调参、调阈值、解释结果,都是长期而痛苦的工程。
2.3 代码和漏洞
这是变化最彻底的领域。众所周知SAST最大的痛点是误报率高,静态扫描扫出一堆告警,安全和开发互相扯皮这是不是误报,怎么修。现在把大模型接进 CI/CD 和 IDE 实现告警降噪,做的事情大致是:
这段代码有没有安全风险?风险等级多少?能不能给具体修复方案? 这个扫描的结果准确吗,帮我复核。
它替代不了深度的代码审计,但确实能前置拦截大量的低级漏洞,把SAST用规则扫过的结果做一层复核实现降噪,把安全同学从重复劳动里解放出来一点。
2.4 安全运营助手
SOC 里现在流行把 AI 当助理用:告警复核、威胁关联分析、用自然语言查日志、自动生成处置报告、翻译多语言情报源、辅助撰写应急响应预案等。短期看,节省的是时间;长期看,是降低运营门槛。新人能快速上手,老员工能聚焦更复杂的攻防对抗。总的来说,现在大多数“AI for security”的落地,都还停留在增强人,而不是取代人这个阶段。
二、现实里的几盆冷水
风口再大,落地永远是脏活累活,安全领域的落地永远要面对 实验室指标和生产环境的问题,求真务实的讲,最终绕不开业务价值是什么?
第一盆冷水是数据。
模型再聪明,喂进去的是半截日志、错位时间戳、乱七八糟的字段名,加上没法统一的标签标准,效果基本不会好到哪里去。很多项目“实验室指标很漂亮,上生产直接水土不服”,根子都在数据工程没打好基础,指望 AI 一把梭,实现银弹效果,直接把多年的债一笔勾销,这是很不现实的。
第二盆冷水是场景错配。
安全问题高度场景化,但不少项目的路径是:先找一个模型,然后在公司里找地方塞进去;而不是先把问题讲清楚——到底是想减少误报,还是想提升检出率,还是想压缩响应时间。还是老问题本质目的是什么,业务价值是什么,验收指标是什么?
第三盆冷水是AI 自己的安全问题 。
模型服务本身成了新攻击面:Prompt 注入、越权调用、沙箱逃逸、MCP权限过大、内部系统被当成“工具”被模型乱用,训练数据泄露、模型参数泄露……这些问题如果一开始不纳入威胁建模,很容易出现用 AI 做安全,结果先把 AI 攻击面暴露了,跟同行交流得知国内今年HW,AI产品成了最大的攻击面。
三、往后看三到五年,有价值的方向
如果把时间拉长一点,个人觉得有几个方向值得持续投入,而不是跟风一阵。
第一,安全数据和特征会变成真正的基础设施。
现在大家嘴上都说数据驱动安全,但实际上很多地方还停留在日志堆在一起的粗旷状态。接下来比较靠谱的路线,是先搭起统一的安全数据平台,把网络、终端、身份、业务、代码改动这些孤岛的数据整合成可以复用的特征,然后再叠加各种模型的能力。所谓基础不牢,地动山摇,谁先把这层底座打牢,后面的检测能力迭代就会轻松很多,如果大家在同一起跑线上竞争,地基打好了,后续检测能力的迭代速度会甩开同行一个身位。
第二,AI 深度融入 SDLC,让安全左移落地。
现在很多实践还停在上线前扫一遍代码,未来更像是:
每一次 PR 都会有自动的安全评分和解释;架构评审时,模型辅助拉出可能的滥用场景和关键信任边界,实现自动化的安全评审和威胁建模;上线之后,用运行时的行为数据反向校正设计阶段的假设。AI 会让左移从口号变成常态,把风险拦在更早的阶段。
第三,自适应防御和欺骗防御会更普遍。
攻击者已经在用模型优化攻击链路,攻击端自动化能力随着大模型的能力同步提升,防守端迟早也要告别静态规则接受动态规则这个现实。比如策略自动调整、端口和诱饵资产动态变化,甚至用模型自动生成高仿真的假数据、假接口,引导攻击者在我们设计好的蜜罐沙箱里“浪费时间”。但是这部分仍然绕不开模型幻觉带来的决策风险。WAF阻断、网络隔离等涉及影响业务连续性的关键场景还是得人工复核。
第四,模型治理会成为刚需。
一旦风控、反洗钱、入侵检测越来越多地依赖模型,监管自然会问:
你凭什么拦下这笔交易?
你封一个账号,有没有解释?
你基于什么数据、用什么模型做出这个决定?
这会倒逼企业建立一套覆盖模型 “开发 – 部署 – 迭代” 的治理机制,变更审批、效果审计、合规校验,就像现在对待安全规则一样严格,而不是模型上线后没人管。
四、对安全团队来说,今天可以从哪儿动手?
如果是站在一个企业安全负责人的视角,不追求大而全,我会优先做三件ROI比较高的事情:
1、聚焦核心场景,小步快跑
不要以上 AI 为目标立项,为了 AI 而 AI,而是先梳理团队最痛的 3 个问题:比如误报太多导致响应效率低、代码安全问题反复出现、某个重复性的工作占据大量的人力资源。每个问题对应一个具体用例,从小场景试点,跑通效果再扩大范围,对比历史数据,再对比行业数据量化ROI。
2、把数据和流程理顺
不追求一口吃成胖子,先把关键日志源和标签标准理清楚,统一字段命名、校准时间戳、建立标准化标签体系。再打通 “告警 – 研判 – 处置 – 复盘” 的闭环链路,确保数据能流转、结果能验证。否则引入 AI 后,只会把现有的混乱放大,变成更高级的垃圾处理。
3、打破组织墙,建立跨部门的合作机制
如果从零到一,安全团队、基础设施团队、大数据/算法团队,最好在一开始就一起设计:数据从哪儿来、算力怎么给、模型结果怎么回到现有系统、上下游怎么对接,出了偏差谁拍板。很多 AI 安全项目死在 “部门墙” 上,而非技术本身。先把人拉到一张桌子上,再谈技术落地。
简单总结收尾:
“AI 不会取代人,但使用 AI 的人会取代不用 AI 的人”
未来安全团队的核心分工是,AI 承接重复告警、机械审计等标准化工作,人则聚焦高风险场景监控、规则设计与战略博弈。不跳出低价值劳动的人终将被淘汰,留下的要么是 AI 安全架构专家,要么是精通业务的业务安全官(BISO)/ 安全BP。只有这样,安全能力才能跟得上业务扩张速度与攻击手法的演进节奏。
本人开源书籍推荐: 更新中:《AI 驱动的企业安全:架构、方法论与实践》 系统化企业安全建设指南,通过AISecOps 框架,将 AI 能力深度融入企业安全体系。
项目地址:https://github.com/cybermaxluo/AI-ESA
欢迎大家学习交流~
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:白帽子罗棋琛 Max Luo《聊一聊AI赋能网络安全》