文章总结： 本文探讨了大模型在漏洞分析领域的应用与挑战，提出了一套提升准确度的实现流程，包括数据准备、人工打标、自动化工作流创建等关键环节。研究发现prompt分类方式优于classifier方法，思维链大模型更适合复杂问题判断。文章详细介绍了如何通过CWEID映射表创建自动化工作流，以及如何通过优化提示词提高模型分析准确度，为安全团队提供了实用的漏洞分析解决方案。
综合评分： 85
文章分类： AI安全,漏洞分析,WEB安全,安全工具,安全建设
大模型漏洞分析准确度提升的实践分享
原创
Loki
平安集团安全应急响应中心
2025年8月4日 12:01
上海
本文聚焦大模型在漏洞分析领域的应用，针对漏洞类型繁多、攻击手法复杂、传统方法效率低下及现有模型准确度不足等问题，提出了提升大模型漏洞分析准确度的实现流程，包括数据准备、人工打标、自动化工作流创建、数据生成与分析等关键环节。通过实验对比，得出 prompt 分类方式优于 classifier、思维链大模型更适用于复杂问题判断等结论，为优化大模型在漏洞分析中的性能提供了实践参考。
0x01 挑战和现状
挑战：
- 漏洞类型众多，如代码执行、SQL 注入、XSS 等，每种漏洞都有独特特征，传统方法难以全面覆盖。
- 以 RCE（远程代码执行）为例，其攻击手法复杂多样，涉及多种编程语言和运行环境，难以用单一规则判断。
*图片来源：https://www.cvedetails.com/browse-by-date.php
现状：
- 传统的漏洞分类方法主要依赖人工分析和经验判断，效率较低且容易出错，难以应对大规模的漏洞数据。
- 随着漏洞数量的不断增加和攻击手段的日益复杂，现有分类方法在准确性和及时性方面逐渐暴露出不足，无法满足实际需求。
- 直接依赖模型自身的能力，对漏洞分析准确度低，无法实际应用到生产。
0x02 大模型提升准确度实现流程
0x03 准确度提升具体实现
1、数据准备
一、选择恰当的案例
漏洞分类：代码执行、SQL 注入、任意文件上传、认证绕过、其他类型、任意文件读取、xss 漏洞、SSRF 漏洞、反序列化漏洞。
在数据选取时，数据需具备以下特征：
1、相关的CVE漏洞，原始数据字段不出现缺失。
2、数据案例对上述类型尽可能的完成覆盖（确保大模型对各类型漏洞的识别率）
3、代码执行考虑：间接代码执行和代码执行，对模型的简单推理能力进行检测。
是否 RCE：
根据漏洞描述判断 RCE 情况案例需尽可能覆盖齐全
1、漏洞表述直接 RCE
2、漏洞表述间接 RCE
3、优化前模型判断错误
4、优化前模型判断正确
二、对案例进行人工打标
漏洞分类案例打标：
1. 通过 cweId 和漏洞的描述对漏洞类型进行分类（可包含多个类型）。
这里以主要漏洞类型为主（暂不考虑间接导致的漏洞）
2. 创建 cweId 映射表
什么是 cweId：
CWE ID 是 Common Weakness Enumeration Identifier（通用缺陷枚举标识符）的缩写。它是由 MITRE 公司维护的一个标准化列表，用于唯一标识和分类软件安全漏洞和缺陷。CWE ID 是安全领域的重要参考工具，帮助开发者、测试人员和安全研究人员识别、描述和修复软件中的常见问题。
实现 cweId 和漏洞类型分类一一对应，方便工作流的自动化读取。
是否 RCE 案例打标：
这里逻辑比较简单，根据漏洞描述人工给出判断即可。
0x04 自动化工作流的创建
一、漏洞类型工作流的创建及调试
- 漏洞分类 classifier 工作流创建的思路：
CVE 编号 –> 获取结构化数据 –> AI 分类器 + cweId 映射 –> 数据聚合 –> 输出漏洞分类
cweId 映射工作流实现 –> 结构化信息 –> 比对 cweId 映射表 –> 格式化输出对应 cweId 的漏洞分类
分类器工作流实现 –> 结构化数据信息 –> 仅提取 description 字段至大模型分类器 –> 输出结果
- 漏洞分类 prompt 工作流创建的思路：
数据传入 –> 判断漏洞描述是否存在 –> 格式化传入大模型数据 –> 大模型通过提示词对原始数据进行翻译和 RCE 判断 –> 格式化输出
二、漏洞类型分类准确度工作流的创建及调试
漏洞分类准确度：
webhook 节点 –> 格式化数据 –> 比对数据表重复数据 –> 获取编号 –> 调用数据分类工作流 –> 写入表格
是否RCE准确度：
webhook 节点 –> 格式化数据 –> 获取原始漏洞数据 –> 大模型通过提示词对原始数据进行翻译和 RCE 判断 –> 写入表格
三、数据生成
漏洞分类数据生成：
是否 RCE 数据生成：
五、总结
1、在大模型对准确度表现方面prompt的分类方式比classifier准确度更高。
2、思维链大模型相较非思维链大模型可以更好的应用在复杂问题的判断方面。
提示词优化技巧：
需要什么类型的提示词，可以先问思维链大模型，让大模型给一个基本的思路，通过给的思路，分条写出需要大模型做的任务。
拿到大模型的提示词，运用在实际的工作中，将工作中得到的结果人工进行查看，针对性的喂给大模型，让大模型进行提示词的优化，即可得到准确度较高的提示词。
https://security.pingan.com/
点赞、分享，感谢你的阅读▼
▼ 点击阅读原文，进入官网
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：平安集团安全应急响应中心 Loki《大模型漏洞分析准确度提升的实践分享》