文章总结： 本文介绍了使用LlamaIndex微调Embedding模型的全流程，特别针对网络安全领域。通过SentenceTransformer与AutoTrain两种方案，详细讲解了环境搭建、数据集制备、模型训练与评估。微调后的模型能显著提升威胁情报检索和漏洞关联分析的精度，为安全工程师提供了可直接落地的技术方案。建议定期更新训练数据以应对网络安全威胁的快速迭代。
综合评分： 89
文章分类： AI安全,安全建设,安全工具,技术标准

纯享笔记：11/ 使用 Llama Index 微调 Embedding 模型

原创

heyong

BurpSuite实战教程

2025年12月12日 12:04
安徽

★

计划花费20~30篇幅，来做一套人工智能笔记，纯享版。内容涉及的产品细节不一定是最新的，但忠于实验记录，方便网络安全或其他行业的同学快速地了解AI技术。 目前已完成的内容如下：

前10篇：

纯享笔记：10/ RAG架构入门

用 Llama Index 微调 Embedding 模型

摘要

随着大模型的深度应用，检索增强生成（RAG）系统对专业领域语义理解的需求日益迫切。本文基于Llama Index工具链，结合Sentence Transformer与AutoTrain框架，系统讲解Embedding模型的微调全流程。从环境搭建、网络安全数据集制备，到模型训练、多维度评估，最终落地于安全场景的检索任务。结合最新工具版本（Llama Index v0.10.90+、Sentence Transformer v3.0.0+）优化操作流程，为安全工程师提供可直接落地的模型微调方案，提升威胁情报检索、漏洞关联分析等场景的语义匹配精度。

一、Embedding模型微调的价值

1.1 为什么需要微调Embedding模型？

专业领域存在大量专业术语（如零日漏洞、鱼叉式钓鱼、ATT&CK战术）和复杂语义关系（如漏洞与攻击路径的关联、日志与威胁指标的映射），通用Embedding模型（如开源的BGE、闭源的OpenAI Embedding）往往无法精准捕获这些垂直领域特征。

通过微调，可将以下知识融入模型：

• 私有知识：企业内部安全策略、应急响应手册、历史漏洞处置案例；
• 行业标准：MITRE ATT&CK框架、CVE漏洞分类、OWASP Top 10风险准则；
• 非结构化数据：安全设备日志（如IDS/IPS告警）、漏洞报告（如CNVD公告）、黑产攻击话术。

微调后的模型，能显著提升RAG系统在安全场景的检索效果，例如：在威胁情报检索中，精准匹配相似漏洞；在日志分析中，快速关联攻击行为；在安全知识库问答中，准确响应专业问题。

1.2 Llama Index在微调中的核心优势

Llama Index作为一站式RAG开发框架，为领域微调提供三大关键能力：

1. 高效QA对生成：支持批量解析PDF（如ATT&CK文档）、日志文件、漏洞报告，自动生成查询-答案（Q-V）Embedding训练对；

2. 轻量化微调封装：基于Sentence Transformer提供低代码微调接口，无需深入底层训练逻辑；

3. 全流程验证框架：内置检索误差（Retrieval Error，原笔记Reprival Error拼写错误）、命中率等评估指标，支持开源/闭源/自微调模型的横向对比。

二、环境准备：工具链搭建

2.1 核心工具与版本要求

| 工具 | 推荐版本 | 核心作用 |
| — | — | — |
| Python | 3.10-3.11 | 环境基础 |
| Llama Index | v0.10.90+ | 数据处理、QA生成、评估框架 |
| Sentence Transformer | v3.0.0+ | Embedding模型微调核心引擎 |
| AutoTrain | v0.7.0+ | 可视化微调框架（支持Web UI） |
| Ollama | v0.1.30+ | 本地大模型服务（生成训练QA对） |
| PyTorch | v2.2.0+ | 深度学习计算框架 |
| FAISS | v1.8.0+ | 向量数据库（评估时检索加速） |

2.2 环境搭建步骤（Windows/Linux通用）

1. 创建虚拟环境（避免依赖冲突）：

   conda create -n sec_embedding python=3.10
   conda activate sec_embedding  # Windows激活
   # source activate sec_embedding  # Linux/Mac激活

2. 安装核心依赖：

   # Llama Index及数据处理依赖
   pip install llama-index[all] llama-index-embeddings-sentence-transformers
   # Sentence Transformer微调依赖
   pip install sentence-transformers torch transformers
   # AutoTrain及可视化依赖
   pip install huggingface-autotrain autotrain-advanced
   # 向量数据库与评估依赖
   pip install faiss-cpu pandas matplotlib scikit-learn

3. 本地大模型准备： 安装Ollama后，拉取中文大模型（用于生成领域QA对）：

   ollama pull qwen:7b  # 阿里千问7B（中文效果优）
   ollama pull mistral:7b  # 英文场景可选

三、数据集制备：从原始文档到训练数据

3.1 数据集选择

优先选择垂直领域非结构化数据，推荐以下公开/私有数据集：

• 公开数据集：MITRE ATT&CK v15文档（PDF）、CVE-2025漏洞报告集合、OWASP Web安全测试指南；
• 私有数据集：企业内部安全日志（需脱敏）、漏洞处置工单、安全设备配置手册。

注意：不同的专业领域，提供不同的数据，安全场景需替换为上述领域数据，避免训练数据与应用场景脱节。

3.2 数据处理流程（基于Llama Index）

1. 文档加载与分块： 解析文档（以ATT&CK PDF为例），按语义分割为小片段（避免长文本语义丢失）：

   from llama_index.core import SimpleDirectoryReader, SentenceSplitter
   from llama_index.core.node_parser import SentenceSplitter

   # 加载PDF文档
   reader = SimpleDirectoryReader(input_files=["ATT-CK-v15.pdf"])
   documents = reader.load_data()

   # 分块配置（文档建议块大小512，重叠80）
   splitter = SentenceSplitter(chunk_size=512, chunk_overlap=80)
   nodes = splitter.get_nodes_from_documents(documents)

2. 自动生成QA训练对： 利用Ollama本地大模型，基于文档片段生成查询-答案对（无需人工标注）：

   from llama_index.core.data_sources import QAGenerateTool
   from llama_index.llms.ollama import Ollama

   # 初始化本地大模型
   llm = Ollama(model="qwen:7b", temperature=0.3)  # 低温保证答案准确性
   qa_generator = QAGenerateTool.from_defaults(llm=llm)

   # 生成训练集/验证集（严格划分，禁止复用）
   train_qa = qa_generator.generate(nodes[:800])  # 前80%作为训练集
   val_qa = qa_generator.generate(nodes[800:])    # 后20%作为验证集

   # 保存为JSON格式（Llama Index与Sentence Transformer兼容）
   import json
   with open("sec_train_qa.json", "w", encoding="utf-8") as f:
       json.dump([q.to_dict() for q in train_qa], f, ensure_ascii=False, indent=2)
   with open("sec_val_qa.json", "w", encoding="utf-8") as f:
       json.dump([q.to_dict() for q in val_qa], f, ensure_ascii=False, indent=2)

注意：训练集和验证集不要弄成一样，真实场景必须严格划分（如8:2比例），否则评估结果失真，无法反映模型泛化能力。

四、模型微调：Sentence Transformer与AutoTrain双方案

4.1 方案一：Llama Index+Sentence Transformer（轻量版）

适用于快速验证效果，无需复杂参数配置：

1. 加载数据集：

   from llama_index.core.embeddings import EmbeddingQADataset

   train_dataset = EmbeddingQADataset.from_json("sec_train_qa.json")
   val_dataset = EmbeddingQADataset.from_json("sec_val_qa.json")

2. 选择基础模型： 优先选择中文优化的开源Embedding模型，安全领域推荐：

• 北京智源BGE-M3（BAAI/bge-m3）：支持多语言，语义理解能力强；
• 阿里通义Embedding（alibaba-damo/nlp_general_embedding_chinese）：中文垂直领域优化；

2. 启动微调：

   from llama_index.embeddings.sentence_transformers import SentenceTransformerEmbedding

   # 初始化基础模型
   base_embedding = SentenceTransformerEmbedding(model_name="BAAI/bge-m3")

   # 微调配置
   fine_tuner = base_embedding.fine_tune(
       train_dataset=train_dataset,
       val_dataset=val_dataset,
       epochs=3,  # 安全数据集建议3-5轮，避免过拟合
       batch_size=16,
       learning_rate=2e-5,  # 小学习率保护预训练权重
       output_path="./sec_finetuned_embedding"
   )

   # 保存微调后模型
   fine_tuner.save_model()

4. 微调日志： 训练过程中会生成training_logs.csv和val_metrics.json，包含损失值、准确率（Acc@1/3/5）等指标，可实时监控训练效果。

4.2 方案二：AutoTrain（可视化版）

适用于非开发人员，通过Web UI完成微调，支持更复杂参数配置：

1. 环境预处理：

• 安装Git LFS（用于下载大模型权重）：git lfs install；
• 配置Hugging Face Token（需提前注册账号获取）：

  # Windows设置环境变量
  set HUGGINGFACE_TOKEN=your_token_here
  # Linux/Mac设置环境变量
  export HUGGINGFACE_TOKEN=your_token_here

2. 启动AutoTrain Web UI：

   autotrain app --port 8081  # 避免8080端口冲突

浏览器访问http://localhost:8081，进入可视化界面。

3. 场景微调配置：

• 优化器：AdamW（默认）；

• 调度器：CosineAnnealing（学习率衰减）；

• 批次大小：根据显卡显存调整（16GB显存建议16-32）；

• epochs：3-5轮；

• 句子长度：512（匹配文档分块大小）。

• 选择任务：Sentence Transformer（SD开头任务，对应Embedding微调）；

• 任务类型：专业场景推荐QA（问答对）或Triplet（查询+正样本+负样本）；

• 基础模型：选择BAAI/bge-m3或自定义本地模型路径；

• 数据集：上传本地生成的sec_train_qa.json（需转换为AutoTrain兼容格式，见下文）；

• 参数配置：

3. 数据集格式转换： Llama Index生成的QA对需转换为AutoTrain兼容格式（以JSON为例）：

   [
     {
       "anchor": "什么是ATT&CK中的初始访问战术？",  // 查询
       "positive": "初始访问是攻击者获取目标系统初步访问权的战术，常见技术包括鱼叉式钓鱼、利用公开漏洞等",  // 正样本（答案）
       "negative": "缓冲区溢出是一种内存破坏漏洞，属于代码执行类攻击"  // 负样本（无关内容，可选）
     }
   ]

五、模型评估：多维度对比验证

5.1 评估指标（检索场景核心指标）

| 指标 | 定义与场景意义 |
| — | — |
| 准确率（Acc@k） | 前k个检索结果中包含标准答案的比例，衡量检索精准度 |
| 召回率（Recall@k） | 标准答案出现在前k个检索结果中的比例，衡量覆盖能力 |
| MRR（Mean Reciprocal Rank） | 标准答案排名倒数的平均值，衡量排序合理性 |
| NDCG（Normalized Discounted Cumulative Gain） | 考虑结果排序的相关性得分，适用于多相关文档场景 |
| 命中率（Hit Rate） | 检索结果中包含至少一个标准答案的比例，衡量基础有效性 |
| 检索误差（Retrieval Error） | 检索结果与标准答案的语义距离误差，数值越小越好 |

5.2 评估流程

1. 加载待评估模型：

   from llama_index.core.evaluation import RetrieverEvaluator
   from llama_index.embeddings.sentence_transformers import SentenceTransformerEmbedding

   # 加载三个模型进行对比
   # 1. 闭源模型（OpenAI Embedding）
   from llama_index.embeddings.openai import OpenAIEmbedding
   openai_emb = OpenAIEmbedding(api_key="your_openai_key")

   # 2. 开源基础模型（BGE-M3）
   base_emb = SentenceTransformerEmbedding(model_name="BAAI/bge-m3")

   # 3. 自微调模型（本地保存的模型）
   finetuned_emb = SentenceTransformerEmbedding(model_name="./sec_finetuned_embedding")

2. 构建评估器：

   # 基于验证集构建检索评估器
   evaluator = RetrieverEvaluator.from_defaults(
       dataset=val_dataset,
       metrics=["hit_rate", "mrr", "recall@3", "ndcg@3"],
       retriever_mode="vector_store",
       vector_store_params={"similarity_top_k": 3}  # 取前3个结果评估
   )

   # 分别评估三个模型
   openai_metrics = evaluator.evaluate(openai_emb)
   base_metrics = evaluator.evaluate(base_emb)
   finetuned_metrics = evaluator.evaluate(finetuned_emb)

3. 评估结果可视化：

   import pandas as pd
   import matplotlib.pyplot as plt

   # 整理结果
   results = pd.DataFrame({
       "模型": ["OpenAI Embedding", "BGE-M3（基础）", "自微调模型"],
       "命中率": [openai_metrics["hit_rate"], base_metrics["hit_rate"], finetuned_metrics["hit_rate"]],
       "MRR": [openai_metrics["mrr"], base_metrics["mrr"], finetuned_metrics["mrr"]],
       "Recall@3": [openai_metrics["recall@3"], base_metrics["recall@3"], finetuned_metrics["recall@3"]]
   })

   # 绘制对比图
   results.set_index("模型").plot(kind="bar", figsize=(10, 6))
   plt.title("Embedding模型评估结果对比")
   plt.ylabel("指标得分")
   plt.xticks(rotation=0)
   plt.legend(loc="lower right")
   plt.savefig("sec_embedding_evaluation.png", dpi=300, bbox_inches="tight")

#

• 自微调模型在专业术语检索、漏洞关联分析等场景中，命中率和MRR通常比基础模型提升20%-40%；
• 闭源模型（如OpenAI Embedding）通用语义理解能力强，但在私有知识（如企业内部策略）检索中表现不如自微调模型；
• 评估需加入对抗性测试：构造相似但不同的查询（如SQL注入漏洞vsSQL盲注漏洞），验证模型区分能力。

六、注意事项

1. 数据安全：微调数据若包含企业私有漏洞、日志等敏感信息，需在本地环境完成训练，禁止上传至公共云平台，避免数据泄露；
2. 模型轻量化：安全设备（如边缘防火墙）资源有限，可使用量化工具（如GPTQ、AWQ）将微调后的模型量化为4bit/8bit，降低部署门槛；
3. 持续迭代：网络安全威胁迭代快，需定期更新训练数据（如新增CVE漏洞、新型攻击战术），每3-6个月微调一次模型；
4. 合规性：确保使用的基础模型、数据集符合开源协议（如BGE-M3基于MIT协议），避免版权风险。

七、总结

本文基于Llama Index工具链，结合最新版本的Sentence Transformer与AutoTrain框架，补充了网络安全领域特有的数据集处理、模型配置和评估方案。通过微调Embedding模型，可显著提升RAG系统在威胁情报检索、漏洞分析、安全知识库问答等场景的语义匹配精度，为安全工程师提供高效、可落地的技术方案。

未来，随着大模型在安全领域的深入应用，Embedding模型的微调将向小样本微调增量微调方向发展，进一步降低落地成本，赋能更多安全业务场景。

八、参考链接

1. Llama Index官方文档：https://docs.llamaindex.ai/
2. Sentence Transformer微调指南：https://www.sbert.net/docs/training/overview.html
3. MITRE ATT&CK数据集：https://attack.mitre.org/resources/attack-data-and-tools/

★

以上均为实验匆匆记录，然后AI整理和修订，错误之处，请在文末留言，谢谢！ 深入交流请加知识星球【勇哥和他的朋友们】或者【AI自动化】

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：BurpSuite实战教程 heyong《纯享笔记：11/ 使用 Llama Index 微调 Embedding 模型》