文章总结： 本文提出一种融合大语言模型与检索增强生成技术的个性化钓鱼邮件检测框架。系统利用用户历史邮件和实时威胁情报构建上下文，解决传统方法误报率高的问题。实验显示Llama4-Scout模型结合RAG后误报率降低66.7%，F1值达0.9703，验证了该方法在提升检测精度和降低运维成本方面的有效性。
综合评分： 92
文章分类： AI安全,威胁情报,解决方案,办公安全,网络安全

【论文速读】| 以用户为核心的钓鱼邮件检测：一种基于检索增强生成与大语言模型的方法

原创

知识分享者
知识分享者

安全极客

2026年2月3日 17:35
北京

基本信息

原文标题：User-Centric Phishing Detection: A RAG and LLM-Based Approach

原文作者：Abrar Hamed Al Barwani, Abdelaziz Amara Korba, Raja Waseem Anwar

作者单位：German University of Technology in Oman (阿曼德国技术大学), Sultanate of Oman

关键词：Phishing Detection (网络钓鱼检测), False Positives (误报), Large Language Models (LLMs, 大语言模型), Retrieval-Augmented Generation (RAG, 检索增强生成), Personalized Spam Filter (个性化垃圾邮件过滤器), Email Security (电子邮件安全)

原文链接：https://arxiv.org/abs/2601.21261v1

开源代码：暂无

论文要点

论文简介：钓鱼邮件的隐蔽性与复杂性持续升级，亟需突破传统基于规则和常规机器学习检测方法的局限。尽管大语言模型（LLM）具备强大的自然语言理解能力，但将其作为独立分类器使用时，往往会产生较高的误报率，将合法邮件误判为钓鱼邮件，进而造成沉重的运维负担。

为此，本文提出一种将大语言模型与检索增强生成（RAG）技术相融合的个性化钓鱼邮件检测框架。该框架针对每一封待检测邮件，会先检索用户的少量历史合法邮件，并融合网络威胁情报平台提供的实时域名与 URL 信誉信息，构建面向特定用户的上下文特征，再基于该证据为大语言模型的检测决策提供依据。

研究基于从公共和机构数据源收集的邮件数据集，对四款开源大语言模型（Llama4-Scout、DeepSeek-R1、Mistral-Saba、Gemma2）开展了性能评估，实验结果显示该框架表现出优异的检测性能：例如 Llama4-Scout 模型在融合 RAG 技术后，F1 值达到 0.9703，误报率更是降低了 66.7%。上述研究结果验证了，基于 RAG 技术的用户画像构建方法在打造高精准、低运维成本且能适配个人沟通模式的邮件安全系统方面，兼具可行性与有效性。

研究目的：由于传统基于规则和机器学习的检测器难以应对日益复杂的社交工程攻击，且存在静态规则无法适应新策略、误报率高等局限性，本研究旨在开发一种以用户为中心的个性化检测框架。研究的核心目的是通过集成大语言模型（LLM）与检索增强生成（RAG）技术，克服独立模型在缺乏上下文时容易产生误判（即高误报率）的缺陷。

为此，本研究建立了一种双重上下文检索机制，旨在将用户特定的历史合法邮件模式与来自第三方威胁情报平台的实时 URL/域名信誉数据相结合。其根本目标是赋予系统上下文感知能力，使其能够精准区分“普遍恶意”的内容与“对特定个人而言虽不常见但合法”的通信，从而在保持高检测精度的同时，显著降低误报带来的运营负担。此外，研究还旨在通过对比评估不同架构和规模的开源模型（如 Llama4-Scout 和 DeepSeek-R1等），验证该个性化 RAG 方案在实际电子邮件安全系统中的可行性、有效性以及跨模型的扩展性。

研究贡献：

• 提出一款个性化 RAG 增强检测框架，将用户专属邮件历史与实时威胁情报相融合，打造出此前基于大语言模型的检测系统所缺失的上下文感知能力；该框架整合了语义相似度检索、动态上下文提取与多源证据融合技术，能够在保持高检测精度的同时有效降低误报率。
• 设计了一套全面的评估方法，针对四款不同类型的开源语言模型，系统评估其在独立部署和 RAG 增强两种配置下的性能表现；这套严谨的测试方案，为人工智能安全工具的基准测试构建了标准化框架。
• 实验证据证实该方法实现了显著的实际性能提升，误报率得到大幅降低 ——Llama4-Scout 模型融合 RAG 技术后误报率降至 4%，而未融合时误报率为 12%。分析结果显示，不同参数量、不同架构的模型均能实现稳定的性能提升，证实个性化优化的增益效果在 170 亿至 700 亿参数量的模型中均能有效落地。

引言

邮件钓鱼仍是目前传播最广泛、造成经济损失最严重的网络威胁之一，各类机构持续遭遇能绕过传统安全防护措施的社会工程学攻击。以特征库过滤、黑名单及启发式分析为代表的传统检测机制虽能提供基础防护，但面对不断演变的攻击手段，其防护效果已愈发不足。这类方法存在固有局限性：静态规则集无法适配新型攻击手段，较高的误报率给用户带来额外负担，且对复杂的社会工程学攻击手段缺乏足够的上下文理解能力。

人工智能的出现为解决上述问题提供了颠覆性的技术能力。传统机器学习方法通过特征提取与模式识别对恶意邮件进行分类，已取得了良好的检测效果；而大语言模型（LLM）的问世，更从根本上推动了网络安全及邮件安全领域的技术发展。其中，基于大语言模型的检测方案在自然语言理解、上下文分析及社会工程学攻击手段推理方面展现出卓越的能力，这类系统依托精细化的模式识别与语义分析技术，能够识别出那些常被传统检测方法遗漏的隐蔽钓鱼特征。

尽管取得了上述技术进展，但在利用大语言模型实现低误报的个性化邮件钓鱼检测方面，仍存在关键的研究空白。当前主流的人工智能邮件安全系统多作为通用分类器运行，对邮件进行孤立分析，未纳入用户的个性化上下文信息。当合法邮件的特征偏离通用模式、但符合特定用户的行为习惯与沟通历史时，这种检测方式会产生大量误报；而由于缺乏用户专属的上下文信息，这类系统也无法区分具有普适性的恶意内容，与那些对特定用户而言看似异常但实际合法的通信内容。

针对这一研究空白，本文提出一种基于检索增强生成（RAG）技术增强的大语言模型全新框架，专门用于实现个性化的邮件钓鱼检测。该系统依托用户的历史邮件特征与实时威胁情报，打造出具备自适应性的、以用户为核心的检测能力。此方法的核心创新点在于构建了双上下文检索机制，将用户专属的历史行为特征与实时威胁情报深度融合，这一机制使系统能够精准区分真正的恶意钓鱼邮件，与那些在通用分类器眼中看似可疑、但对特定用户而言属于正常的合法通信内容。

相关工作

早期的钓鱼邮件检测方法主要依托传统机器学习技术与基于规则的系统。古普塔等人对现有解决方案展开了全面综述，涵盖基于域名系统（DNS）的黑名单、发件人身份验证、域名密钥技术，以及 K 近邻算法等机器学习方法。这类方法虽奠定了技术基础，却存在诸多显著局限性，包括误报率居高不下、无法检测零日钓鱼攻击，且对静态模式的依赖易被攻击者规避。传统方法的核心短板在于，无法理解现代钓鱼邮件的语义内容与上下文细节；如今的钓鱼邮件愈发频繁地运用复杂的社会工程学手段和个性化内容，以此绕过基于特征的检测机制。

大语言模型的出现实现了对邮件内容的深度语义理解，彻底革新了邮件安全检测的技术路径。近期多项研究均证实了大语言模型在钓鱼邮件检测中的有效性：德索尔达等人研发了由 GPT-4o 驱动的工具 APOLLO，该工具可完成邮件分类并为用户生成检测结果解释，还整合了基于维瑞托（VirusTotal）平台的 URL 信息补充功能，以及依托大数据云（BigDataCloud）的地理分析能力。尽管该系统实现了较高的检测精度，但研究人员也指出其存在局限性，包括检测效果对提示词质量的依赖性，以及需要在 GPT-4o 之外，基于多款大语言模型开展验证评估。

小出等人提出了聊天垃圾信息检测器（ChatSpamDetector），该系统可处理.eml 格式的邮件文件，并结合常规与简易两类提示词模板开展提示词工程优化。研究团队在 GPT-4、GPT-3.5、Llama 2 和 Gemini Pro 四款模型上完成了性能评估，结果显示 GPT-4 在使用常规提示词时检测准确率达 99.70%。但该研究排除了无链接的邮件样本，同时指出检索增强生成（RAG）技术或可进一步提升系统检测性能。凯瑟琳・李基于 Llama-3.1-70b、Gemma2-9b 和 Mistral-large-latest 等多款开源大语言模型，搭建了一套钓鱼邮件检测综合框架，研究证实大语言模型在该任务中可实现 80% 以上的检测准确率，其中 Llama-3.1-70b 的准确率更是达到 97.21%。该研究还发现了此类系统的一个关键问题：在非平衡数据集上易出现 “激进的钓鱼邮件分类” 行为，进而导致误报率上升。

海德等人针对大语言模型生成钓鱼邮件的能力展开研究，借助 V-Triad 模型对比了 GPT-4 生成的钓鱼邮件与人工编写的钓鱼邮件，研究发现，尽管大语言模型能生成逼真的钓鱼邮件内容，但基于心理学原理人工编写的钓鱼邮件点击率更高。这一结论凸显了在检测系统中融入社会工程学手段理解能力的重要性。张等人则聚焦大语言模型在中小企业中的实际落地应用，研究发现 Llama-3-8b-instruct 等小参数量模型能够在保证检测能力可靠的前提下，提供高性价比的解决方案。该研究成果也对安全场景中大语言模型选型时 “越大越好” 的固有认知提出了挑战。

检索增强生成（RAG）技术可为大语言模型补充外部实时知识，已成为提升其性能的有效手段。尽管该技术已被广泛应用于问答系统和知识密集型任务，但在网络安全领域，尤其是钓鱼邮件检测中的应用仍处于研究不足的阶段。检索增强生成技术的核心优势在于，能够解决独立大语言模型存在的幻觉现象、静态知识截止期、缺乏领域专属上下文等关键问题。通过整合动态知识检索能力，该技术可让大语言模型基于实时威胁情报和用户专属的历史行为模式做出检测决策。

尽管上述研究均取得了技术突破，但当前基于大语言模型的钓鱼邮件检测系统仍存在一个共性关键局限：这类系统均以通用分类器的形式运行，未纳入用户专属的上下文信息。这就导致当合法邮件的特征偏离通用模式、但符合特定用户的行为习惯与沟通历史时，系统的误报率会大幅上升。而个性化设计的缺失，也让现有系统无法区分具有普适性的恶意内容，与那些对特定用户而言看似异常、但实际合法的通信内容。表 1 归纳了近期基于大语言模型的钓鱼邮件检测领域的最新研究成果，并着重梳理了各研究的主要结论与局限性。

本文的研究正是针对这一技术空白，提出了一款基于检索增强生成技术增强的检测框架，该框架融合用户专属的邮件历史数据与实时威胁情报，打造出个性化的钓鱼邮件检测系统，能够在保持高检测精度的同时大幅降低误报率。

拟提出的解决方案

本文提出了一款全新的RAG增强架构框架，专门用于个性化钓鱼邮件检测，核心目标是解决当前AI检测系统中误报率过高的关键痛点。该系统通过六个协同联动的阶段，实现对邮件的上下文感知分类，整体设计科学且流程清晰，各核心模块的运行逻辑如下。

系统初始化首先启动数据预处理流程，核心是将杂乱的原始邮件语料转换为结构化知识库，为后续个性化检索提供可靠基础。原始邮件包含多种类型的特征，系统通过四个关键步骤完成清洗：第一步是多编码解码，采用UTF-8、Latin-1、ISO-8859-1三种编码方式，确保所有邮件都能正常解析；第二步是提取核心特征，仅保留邮件的主题、发件人、正文这三个关键部分，剔除无关信息；第三步是归一化处理，完成字符编码标准化并剥离多余的邮件头；第四步是有效性验证，只保留发件人地址含@符号的合法邮件。经过这些步骤，最终得到的清洗后数据集，既剔除了噪声和无效信息，又最大程度保留了有用内容，整个预处理流程还会移除不完整邮件，进一步提升数据质量。

完成数据预处理后，系统进入语义嵌入生成与向量空间构建阶段。这一阶段的核心是将邮件文本转换为可计算语义相似度的向量，采用all-MiniLM-L6-v2转换器架构，将每封清洗后的邮件（拼接主题、发件人、正文）转换为384维的语义向量，再对向量进行标准化处理，确保其分布均匀。随后，这些标准化向量会被存入FAISS向量数据库，该数据库能高效实现相似向量的检索，核心采用余弦相似度计算方法。除此之外，该模块还有两项关键增强功能：一是融合实时威胁情报，通过对接VirusTotal的接口，提取待检测邮件的发件人域名和正文中的URL，经过75个检测引擎的综合分析，生成包含有害性、信誉度等指标的威胁评估报告；二是实现个性化上下文检索，对待检测邮件进行向量转换后，从数据库中检索出5封最相似的历史合法邮件，为后续分类决策提供参考，让模型能贴合用户的沟通习惯，而非依赖通用规则。

为了让大语言模型（LLM）做出精准决策，系统设计了结构化提示词工程与推理框架。该框架将分类任务标准化，为模型明确设定“钓鱼检测领域网络安全专家”的角色，同时输入待检测邮件内容、检索到的上下文信息和威胁评估报告，还严格规定了模型的输出格式。输出结果采用JSON结构，包含邮件分类（合法/钓鱼）、钓鱼评分（0-10分）、社会工程学风险等级、处置建议和判定理由，既确保模型推理有明确依据，又能生成机器可解析、人类易理解的结果，便于后续自动化处理和系统集成。

在模型选择与配置方面，为了验证框架的泛化能力，研究选取了四款不同的开源大语言模型，分别是Meta的Llama4-Scout（170亿参数）、DeepSeek的DeepSeek-R1（700亿参数）、Mistral的Mistral-Saba（240亿参数）和Google的Gemma2-9B（90亿参数），这些模型在架构、参数量和上下文窗口上各有差异，能全面检验框架的适配性。

LLM分类与输出是系统的最终执行环节，核心保障检测的实时性和准确性。系统通过Groq接口调用模型，确保低延迟推理，将模型温度参数设为0.2，平衡决策的确定性和推理能力；同时通过持久化的系统提示，强化模型的角色定位，避免决策偏离；最后对模型输出的JSON结果进行自动解析和验证，处理格式错误等异常情况，最终向用户输出分类结果和详细分析，确保检测过程透明、可解释。

为了验证框架的有效性，研究设计了完整的实验，依次完成数据集收集处理、系统实现和结果分析，具体细节如下。

实验采用均衡的邮件数据集，共包含500封邮件，其中合法邮件和钓鱼邮件各250封。合法邮件来自自愿参与用户的个人和机构邮箱，通过只读模式采集，钓鱼邮件来自公共钓鱼邮件库和内部安全情报；所有邮件均解析为UTF-8格式，仅保留主题、发件人、正文，剔除HTML标签、冗余页脚和追踪信息，同时对邮件地址进行匿名化处理，保护用户隐私，还通过哈希去重、过滤无效样本，进一步优化数据集质量。实验采用分层拆分的方式划分数据集，通过排除待检测邮件检索、仅用训练集合法邮件构建向量库两种方式，避免数据泄露，确保实验结果可靠。

在系统实现上，基于Python 3.10开发，采用轻量高效的工具链：通过LangChain协调RAG流程和向量管理，FAISS实现向量检索，Sentence-Transformers生成语义嵌入，Groq提供低延迟推理，Pandas处理数据。系统采用模块化设计，可灵活集成更多数据源或更换模型，扩展性强；所有实验采用相同的提示词模板和参数设置，确保对比的公平性。

实验结果清晰表明，融合RAG上下文后，所有模型的检测性能均有显著提升：误报率大幅下降，精准度和F1值明显提高，而召回率在未融合RAG时已处于较高水平，融合后仍保持稳定，这说明RAG能通过上下文消歧，减少虚假告警，同时不损失检测能力。具体来看，Mistral-Saba融合RAG后性能提升幅度最大，有效改善了原本易产生大量告警的问题；Gemma2-9B虽有提升，但误报率仍较高，不适用于对分析师工作量有严格控制的场景；DeepSeek-R1融合RAG后表现优异，适合以降低误报率为核心需求的场景；而Llama4-Scout融合RAG的组合表现最佳，不仅误报率最低（从12%降至4%），F1值最高（达到0.9703），精准度和召回率的平衡效果也最好，是综合性能最优、最适配实际业务场景的推荐方案。

论文结论

本文提出了一套全新的隐私感知型 LLM+RAG 钓鱼邮件检测流程，该流程将模型决策锚定在用户专属的邮箱上下文与轻量级威胁情报之上。在均衡的邮件基准数据集上，针对四款异构开源模型开展的测试结果显示，该系统在保持高召回率的同时实现了误报率的持续降低，精准度与 F1 值也因此获得显著提升。上述结果验证了检索增强式决策方法在实际邮件检测场景中的可行性，同时也指出了该方法面临的几类持续性挑战：长文本多线程对话、高度混淆的 URL 与域名，以及会降低检索质量的域偏移问题。

展望未来，研究将聚焦两大核心方向：其一，依托多语言、机构级语料库，结合域偏移场景下对检索策略、提示词设计与模型选型的定向消融实验，提升系统的鲁棒性与泛化能力；其二，通过基于校准不确定性的成本感知型分流机制，以及轻量化流程设计（含检索剪枝与模型蒸馏后的小参数量模型），提升系统的实际运行可靠性与检测效率，同时保障低延迟的响应速度与适中的计算资源占用。

-End-

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全极客 知识分享者
知识分享者《【论文速读】| 以用户为核心的钓鱼邮件检测：一种基于检索增强生成与大语言模型的方法》