文章总结： 本文复盘5月发布的18款AI红队工具4个月后的变化，发现5款已停更需替换，LiteLLM和langfuse增长最快，strix等自主渗透Agent新工具崛起，OpenAI也推出codex-security。建议关注活跃项目并替换停更工具，选型需结合项目需求与维护活跃度。
综合评分： 85
文章分类： AI安全,红队,渗透测试,安全工具

AI 红队工具复盘：5 款停更，12 款新上榜

原创

AI安全工坊
AI安全工坊

AI安全工坊

2026年9月19日 17:29
江苏

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

「strix 是不是得换上？我们那张表还能用吗？」这周一个工程师问我。

他说的那张表，是 5 月 9 号那篇AI 红队工具怎么选？  6 类 18 款对比。当时也是他私信来的，说老板让他下周交工具选型表，能不能把 repo 里那堆工具画张图分个类。

我把 5 月那 18 款重新拉了一遍 GitHub 数据。结果是：strix 这一个仓库，60 天涨了 20,755 星，比那 18 款里除 LiteLLM 和 langfuse 之外的 16 款 4 个月增量加起来（19,412）还多。而那 18 款里，有 5 款已经超过半年没有提交过代码。

5 月那张表不能直接用了。这篇把两张表并排放：旧表 4 个月后的变化，新上榜 12 款的定位和一条命令，再加上 7 月一篇论文给出的选型规则。

先说规矩：下面所有工具都只在授权范围内用。你自己的应用、自己的靶场、拿到书面授权的目标，其他一律不算。

5 月那 18 款现在怎么样了

先看老表。类别沿用 5 月的分法，数字是 5 月 9 日和 9 月 19 日两次 star 数，最后提交取仓库的 pushed_at。

| 类 | 仓库 | 5 月 star | 9 月 star | 增量 | 最后提交 | 状态 |
| — | — | — | — | — | — | — |
| A 模型层 | microsoft/PyRIT | 3,805 | 4,509 | +704 | 2026-09-19 | 活跃 |
| A | cyberark/FuzzyAI | 1,360 | 1,576 | +216 | 2026-02-06 | 停更 |
| A | utkusen/promptmap | 1,189 | 1,269 | +80 | 2025-12-01 | 停更 |
| B 应用层 | promptfoo/promptfoo | 20,965 | 25,274 | +4,309 | 2026-09-19 | 活跃 |
| B | msoedov/agentic_security | 1,864 | 2,004 | +140 | 2026-09-11 | 活跃 |
| B | confident-ai/deepteam | 1,683 | 2,834 | +1,151 | 2026-08-21 | 活跃 |
| C Agent/MCP | snyk/agent-scan | 2,364 | 3,066 | +702 | 2026-09-18 | 活跃 |
| C | splx-ai/agentic-radar | 966 | 1,054 | +88 | 2025-11-27 | 停更 |
| C | slowmist/MCP-Security-Checklist | 828 | 835 | +7 | 2025-04-28 | 停更 |
| D 网关 | BerriAI/litellm | 46,122 | 59,120 | +12,998 | 2026-09-19 | 活跃 |
| D | Portkey-AI/gateway | 11,638 | 13,034 | +1,396 | 2026-05-25 | 观察 |
| D | protectai/llm-guard | 2,931 | 3,208 | +277 | 2026-07-08 | 活跃 |
| E 评估/可观测 | langfuse/langfuse | 26,799 | 34,796 | +7,997 | 2026-09-19 | 活跃 |
| E | comet-ml/opik | 19,239 | 22,126 | +2,887 | 2026-09-19 | 活跃 |
| E | confident-ai/deepeval | 15,227 | 18,330 | +3,103 | 2026-09-18 | 活跃 |
| F 平台 | aliasrobotics/cai | 8,432 | 9,833 | +1,401 | 2026-08-22 | 活跃 |
| F | Tencent/AI-Infra-Guard | 3,650 | 6,453 | +2,803 | 2026-09-18 | 活跃 |
| F | microsoft/AI-Red-Teaming-Playground-Labs | 1,927 | 2,075 | +148 | 2026-02-13 | 停更 |

停更的判定口径只有一条：pushed_at 距今超过 180 天。Portkey 的最后提交是 5 月 25 日，差一个多月才到线，所以列观察。

4 个月里涨得最多的是 LiteLLM 加了 12,998，langfuse 加了 7,997，promptfoo 加了 4,309。涨幅比例最大的是腾讯的 AI-Infra-Guard，从 3,650 到 6,453，翻了 1.77 倍。

5 款停更的名单和替代品

停更的 5 款分别是 FuzzyAI、promptmap、agentic-radar、MCP-Security-Checklist、AI-Red-Teaming-Playground-Labs。

停更的工具还能装，但有两件事要重新算。一是漏洞库和攻击样本不再更新，用 promptmap 这类扫描器扫 2026 年的应用，它的仓库最后一次提交停在 2025 年 12 月。二是依赖不再跟着升级，装的时候大概率要自己解决版本冲突。

对应的替代品，按 5 月的类别对上：

• FuzzyAI 和 promptmap 做的事，模型层模糊测试和自定义 LLM 应用扫描，现在 garak 和 deepteam 都在做，两者最后提交分别是 9 月 16 日和 8 月 21 日。garak 装一条命令 pip install -U garak，deepteam 是 pip install -U deepteam，它的 README 写明「runs locally on your machine」，建在 DeepEval 上。
• agentic-radar 做的 Agent 工作流扫描，snyk/agent-scan 覆盖了，而且加上了 MCP 配置和技能文件：uvx [email protected] ~/.vscode/mcp.json 扫 MCP 配置，uvx [email protected] ~/path/to/my/SKILL.md 扫技能。
• MCP-Security-Checklist 是一份清单，不是工具，慢雾 2025 年 4 月之后没更新。要清单的话，OWASP 那套标准更新得勤，后面单独说。
• Playground-Labs 是微软的红队训练靶场，最后提交在 2 月 13 日。练手可以继续用，只是 2 月之后出现的技能供应链这类攻击面，它的题目里没有。

60 天涨最快的 10 个仓库

这张表来自我自己的快照，覆盖 ai-security、llm-security、red-teaming、pentesting、bug-bounty、prompt-injection、evaluation、benchmark 这几个 topic 的 top30。

| 仓库 | 9 月 19 日 star | 30 天增量 | 60 天增量 | 建于 | 做什么 |
| — | — | — | — | — | — |
| usestrix/strix | 63,580 | +8,242 | +20,755 | 2025-08 | 自主渗透 Agent |
| ifixai-ai/iFixAi | 15,582 | +4,716 | +13,956 | 2026-04 | Agent 业务审计 |
| NVIDIA/SkillSpector | 17,782 | +2,981 | 60 天前未上榜 | 2026-03 | Agent 技能扫描 |
| Tencent/AI-Infra-Guard | 6,453 | +1,739 | +2,289 | 2024-12 | AI 红队平台 |
| langfuse/langfuse | 34,796 | +1,416 | +3,322 | 2023-05 | 评估与可观测 |
| langwatch/langwatch | 4,816 | +1,318 | +1,412 | 2023-09 | 评估与治理 |
| KeygraphHQ/shannon | 48,140 | +1,208 | +2,240 | 2025-09 | 自主渗透 Agent |
| CyberStrikeus/CyberStrike | 2,811 | +938 | +1,567 | 2026-02 | 进攻型 harness |
| promptfoo/promptfoo | 25,274 | +907 | +1,839 | 2023-04 | 提示词与红队测试 |
| elementalsouls/Claude-BugHunter | 4,540 | +863 | +1,538 | 2026-05 | Claude Code 技能包 |

两个说明。一，star 只反映关注度，iFixAi 60 天涨 13,956 星不代表它比 garak 好用，两者做的根本是两件事。二，这个榜只统计进了 topic top30 的仓库，openai/codex-security 30 天涨了 812 星，但 60 天前的快照里还没有它，所以没进前十。

自主 AI 渗透 Agent：strix、Shannon、PentAGI、CyberStrike

这是 5 月那张表里没有的类别。5 月的进攻侧只有 CAI 和 PentestGPT 这种框架，你得自己搭流程。这一类的定位是把整个渗透流程交给 Agent 跑完。

strix（Apache-2.0，63,580 星，https://github.com/usestrix/strix）。README 的原话是 「autonomous AI penetration testing agents that act just like real hackers – they run your code dynamically, find vulnerabilities」，强调 「Real exploit validation – working PoCs, not false positives」。运行方式是对着目录跑：

strix --target ./app-directory

它还能装成技能给 Claude Code、Cursor、Codex 用：npx skills add usestrix/strix。最后提交 9 月 18 日。

Shannon（AGPL-3.0，48,140 星，https://github.com/KeygraphHQ/shannon）。README 原话：「an autonomous, AI pentester for web applications and APIs. It analyzes your source code, identifies attack paths, and executes real exploits」。开源版就是完整 Agent，本地跑：

npx @keygraph/shannon@latest

注意 license 是 AGPL，公司内部用没问题，要集成进对外产品得看法务。最后提交 9 月 8 日。

PentAGI（MIT，24,722 星，建于 2025 年 1 月）。定位是全自主渗透 Agent 系统，README 专门有一节「Giving Agents Docker Without Giving Away the Host」，讲怎么给 Agent Docker 权限而不交出宿主机。部署走 docker compose，命令看仓库 Quick Start。最后提交 9 月 10 日。

CyberStrike（AGPL-3.0，2,811 星，建于 2026 年 2 月）。它不带模型，把你的 Claude、GPT 订阅接进来，README 写的是 「13+ specialized agents, 7,600+ security skills, and 120+ OWASP test cases」。这些数字是自报，我没有逐个核。安装一条：

npm i -g @cyberstrike-io/cyberstrike@latest && cyberstrike

老将 PentestGPT 还在，15,521 星，最后提交 7 月 14 日。7 月我核它 README 时，全自主模式依赖 Claude Code 和 Codex CLI，装它之前先确认这一条有没有变。

OpenAI 自己下场：codex-security

7 月新建的仓库，10,776 星，30 天涨 812。README 定位是 「a CLI and TypeScript SDK for defining security policy and finding, validating, and fixing security vulnerabilities」，也就是扫代码找洞、验证、修。

npm install @openai/codex-security npx @openai/codex-security login npx @openai/codex-security scan /path/to/directory

要求 Node.js 22.13.0 和 Python 3.10 以上。有一句话要看清：README 说 「Some cybersecurity requests and protected findings require approval through Trusted Access for Cyber」，意思是部分高危发现要走 OpenAI 的网络安全可信访问计划审批，入口是 chatgpt.com/cyber。你拿它扫自己的仓库没问题，扫出来的某些类别结果会被拦住等审批。

装在 Claude Code 上的红队技能包：Claude-Red、Agentic-Bug-Hunter、Claude-BugHunter

这一类是给 Claude Code 或 Codex 装的 SKILL.md 文件包，脱离宿主 Agent 单独跑不起来。

Claude-Red（MIT，6,213 星，建于 3 月）。README 原话：「Offensive security skills for Claude — drop-in SKILL.md files that turn Claude into a context-aware red team operator」。用例写得很明确：「authorized red team engagements, bug bounty triage, security research, CTF preparation」。最后提交 8 月 30 日。

Agentic-Bug-Hunter（MIT，4,986 星，建于 3 月）。定位是 「AI-powered bug bounty hunting toolkit that works with or without subscription」。它 9 月 19 日才首次进 bug-bounty 这个 topic 的 top30，README 首屏是品牌块，安装步骤在后面，自己看仓库。最后提交 9 月 17 日。

Claude-BugHunter（MIT，4,540 星，建于 5 月）。定位 「A Claude Code skill bundle for bug hunting and external red-teaming」，30 天涨 863 星。最后提交 9 月 18 日。

这三个技能包都是别人写好的 SKILL.md 文件，装进 Claude Code 就有执行权，装之前要先过一遍下一节的扫描工具。

装技能之前先扫技能：SkillSpector、agent-scan、AI-Infra-Guard、nono

技能包是代码，装进 Agent 就是给它执行权。9 月 17 日 AIR Security 公开的 Plugin4Shell（https://www.air.security/blog-posts/plugin4shell）就是这条链：Claude Code、Codex、GitHub Copilot、Gemini CLI 四款都受影响，插件市场按 commit 固定版本，但 Agent 不校验 checkout 到的是不是那个 commit。Anthropic 6 月 17 日修在 2.1.179，OpenAI 8 月 12 日修在 0.146.0，Copilot 到发稿没修，Google 回复不修。

下面四款就是做这件事的：两款扫技能文件，一款扫 MCP 配置和技能文件，一款管 Agent 的执行路径。

SkillSpector（NVIDIA，Apache-2.0，17,782 星，建于 3 月）。README 一句话：「Security scanner for AI agent skills. Detect vulnerabilities, malicious patterns, and security risks before installing agent skills.」，它是 NVIDIA Verified Skills 流水线的一部分。安装：

uv tool install git+https://github.com/NVIDIA/skillspector.git

snyk/agent-scan（Apache-2.0，3,066 星）。前面提过，一条 uvx 命令扫 MCP 配置或 SKILL.md，不用装。

AI-Infra-Guard（腾讯，Apache-2.0，6,453 星）。5 月表里的老将，这 4 个月加了技能扫描：pip install aig-skill-scan。

nono（Apache-2.0，4,132 星，建于 1 月）。它管的是 Agent 的执行路径，技能文件归上面三款，定位「secure multiplexed execution paths for agents – zero trust」。装法 brew install nono，然后给 Agent 套一层：nono run --profile opencode -- opencode。README 提醒 1.0 之前 API 还会变。

顺序是先用 agent-scan 或 SkillSpector 扫技能文件，扫完没有告警再装 Claude-Red 这类技能包，装完用 nono 给 Agent 的执行路径套一层。

Agent 审计与对齐审查：iFixAi、Inspect、Inspect Petri、langwatch

渗透工具回答的是「它有没有洞」，这一类回答的是另一个问题：它有没有在干该干的事。

iFixAi（Apache-2.0，15,582 星，建于 4 月，60 天涨 13,956）。README 开头就划清界限：现有的评估、红队和可观测工具评的是技术指标，它评的是 「Is the agent doing the job it is supposed to do based on the business KPIs and Organizational Structure?」。所以别把它当渗透工具装。运行三种方式，最省事的是向导：

pip install "ifixai[<provider>]" ifixai setup ifixai run

Inspect（英国 AI 安全研究所，MIT，2,808 星）。定位 「a framework for large language model evaluations」，自带 200 多个预置评测。安装看 inspect.aisi.org.uk。

Inspect Petri（MIT，1,339 星，3.0 版）。建在 Inspect 上的对齐审计 Agent，README 说它做四件事：按你的种子指令生成审计场景，用一个审计模型和一个目标模型跑多轮，模拟工具调用和回滚，最后用裁判模型按统一评分表打分。开源项目里把对齐审计做成审计模型、目标模型、裁判模型三方可跑流程的，目前我只找到它这一个。

langwatch（Apache-2.0，4,816 星，30 天涨 1,318）。定位 「trace, test, route and govern every LLM call in your company」。它有一条我觉得实用的命令，直接追踪你的编码 Agent：

npx langwatch claude  # 或 codex、copilot、opencode

自托管一条 npx @langwatch/server，只要 Node.js，生产环境的部署方式看它的 Self-hosting 文档，README 里给了链接。

模型评估老将：promptfoo、deepeval、langfuse、opik、garak、PyRIT、deepteam

评估侧的老将大多还活着，按活跃、观察、停更三档排。

| 仓库 | 9 月 star | 最后提交 | 一条命令 | 档 |
| — | — | — | — | — |
| langfuse/langfuse | 34,796 | 2026-09-19 | 自托管见文档 | 活跃 |
| promptfoo/promptfoo | 25,274 | 2026-09-19 | npm install -g promptfoo → promptfoo init --example getting-started → promptfoo eval | 活跃 |
| comet-ml/opik | 22,126 | 2026-09-19 | 见文档 | 活跃 |
| confident-ai/deepeval | 18,330 | 2026-09-18 | pip install -U deepeval | 活跃 |
| NVIDIA/garak | 9,299 | 2026-09-16 | pip install -U garak → python3 -m garak --target_type huggingface --target_name gpt2 --probes dan.Dan_11_0 | 活跃 |
| microsoft/PyRIT | 4,509 | 2026-09-19 | pip install pyrit ，要写编排代码 | 活跃 |
| meta-llama/PurpleLlama | 4,400 | 2026-08-18 | 见仓库 | 活跃 |
| confident-ai/deepteam | 2,834 | 2026-08-21 | pip install -U deepteam | 活跃 |
| ethz-spylab/agentdojo | 842 | 2026-06-02 | pip install agentdojo → python -m agentdojo.scripts.benchmark -s workspace ... | 观察 |
| vibrantlabsai/ragas | 15,769 | 2026-02-24 | | 停更 |
| centerforaisafety/HarmBench | 1,049 | 2024-08-16 | | 停更 |

ragas 有 15,769 星，但今年 2 月 24 日之后没有提交，按同一口径归停更。HarmBench 最后提交在 2024 年 8 月 16 日，当基准数据集用可以，2024 年之后新出现的攻击类型它没有收录。

garak 还是这一档里最容易上手的，7 月我按它的 README 核过，跑 HF 本地模型连 key 都不用。PyRIT 是框架，README 没有单行 quickstart，得写 orchestrator 和 target 的编排代码。

有人开始反制：AgentCapture

这个仓库 9 月才建，只有 111 星，写进来的原因是方向，热度还谈不上。

AgentCapture 是国产项目，AGPL-3.0，自述是「针对 AI 自动化渗透 Agent 的新一代反制蜜罐」，核心是「AI Agent 反制闭环：23 种主流 Agent 产品指纹识别（Claude Code / ChatGPT Codex / Kimi Cod…）」，手段包括用反代把 API 密饵塞进真实业务、反向提示词注入。

也就是说，上面那些自主渗透 Agent 一旦被用在未授权目标上，对面已经有人在按产品指纹做识别和反制，这个仓库我会隔一个月再拉一次数据看它有没有长起来。

7 月那篇论文的数字

7 月 13 日 arXiv 上有一篇《Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing》（https://arxiv.org/abs/2607.13085），作者 Ananda Dhakal、Krish Neupane、Aarjan Chaudhary。9 月 17 日 FreeBuf 有中文转述（https://www.freebuf.com/articles/ai-security/501522.html），标题说裸 Codex 抹平了专用框架的 benchmark 优势。我读了原文，转述里的两个百分比和论文表格对不上，下面全部用论文表格的数字。

基准是 XBOW validation benchmarks，104 道容器化 Web 漏洞题。被测是三个没做任何安全改造的编码 Agent：Codex、OpenCode、Pi。对照是两个专用渗透框架：MAPTA 和 PentestGPT V2。

| 系统 | 模型 | pass@1 | pass@2 | 每次通过成本 |
| — | — | — | — | — |
| Codex（裸） | GPT-5 | 70% | 81% | $27.71 |
| OpenCode（裸） | GPT-5 | 57% | 67% | |
| Pi（裸） | GPT-5 | 58% | 65% | |
| Codex（裸） | GPT-5.2 | 79.8%（均值） | 92% | |
| Codex（裸） | GPT-5.5 | 92.3%（均值） | 99% | $69.53 |
| MAPTA | GPT-5 | 76.9% | | |
| PentestGPT V2 | GPT-5.2 | 85.0% | | |

作者的结论原句是：「Security harnesses can add benchmark lift and may improve cost efficiency, but their contribution should be measured against strong, model-matched plain-agent baselines and separated from backbone model progress.」

换成选型的话说，框架可能加分，但要拿同一个模型的裸 Agent 当基线去比，模型从 GPT-5 换到 GPT-5.5 带来的 22 个百分点不能算到框架头上。

论文没说的三件事

论文第七章 D 节自己列了局限，我挑三条和选型直接相关的。

一，Codex 和 OpenAI 的模型是配套设计的，其他 CLI 配 GPT 未必有这个成绩，配 Claude 或 Gemini 的数字论文没测。二，每个配置只跑了两轮，pass@2 就是把两轮的通过并起来算，样本很小。三，104 道题里作者修复了大约 40 个靶标才能跑，而且这是公开基准，训练数据里可能见过。

所以这篇论文能拿来做的事只有一件：在你自己的靶场上，先跑一遍裸 Codex 或裸 Claude Code，记下 pass@k 和花费，再决定要不要上 strix 或 Shannon。流程是这样：

选型流程：先跑裸 Agent 基线，再决定要不要框架

OWASP 四个标准各对应哪些工具

9 月 17 日 FreeBuf 有一篇整理 OWASP 的 Agent 标准族（https://www.freebuf.com/articles/ai-security/501513.html），四个标准的职责按那篇转述是：AOS 负责观测与溯源，把 Agent 执行过程转成可观测的 trace；ACS 负责运行时裁决，对每次行为做 deny、proceed 或 approve；AISVS 是三级验证清单；AST10 把技能风险分成 10 类。OWASP 原页我没有逐条核，以下对应关系是我按各工具 README 自述的功能画的。

| 标准 | 管什么 | 对应工具 |
| — | — | — |
| AOS | 执行过程可观测 | langfuse、langwatch、opik |
| ACS | 运行时裁决 | nono（执行路径）、各 Agent 自带的审批器 |
| AISVS | 验证清单 | promptfoo、deepteam、garak、PyRIT、AI-Infra-Guard |
| AST10 | 技能风险 | SkillSpector、snyk/agent-scan、aig-skill-scan |

这张表的用法是反着看：你手上已经有 langfuse，AOS 这一栏就不用再买；你什么都没有，先补 AST10 那一栏，9 月 17 日的 Plugin4Shell 已经证明技能和插件是现在最容易被人塞东西的入口。

半小时能跑起来的顺序

7 月我按各家 README 核过一批安装步骤，当时排出的可上手顺序是 garak、ModelScan、AiSOC、NeMo Guardrails、PyRIT、CAI。这次新上榜的也没有逐个装跑，按 README 写的安装动作分三档，供你估时间。

一条命令就能跑，不用写配置：Shannon（npx）、codex-security（npx）、CyberStrike（npm 全局装）、langwatch（npx）、snyk/agent-scan（uvx）、garak（pip）、deepteam（pip）、deepeval（pip）、agentdojo（pip）、AiSOC（npx aisoc triage --demo，零 key）。

装完还要写配置或编排代码：PyRIT、CAI（pip install cai-framework）、Inspect、iFixAi（向导模式已经算简单的）、promptfoo（要写 promptfooconfig）。

要起容器或集群：PentAGI（docker compose）、open-kritt（自托管）、AI-Infra-Guard 完整平台。

技能文件，装进 Claude Code 就能用：Claude-Red、Claude-BugHunter、strix 的技能版。

43 款总表

| 仓库 | 类别 | 9 月 star | 最后提交 | license | 一条命令 |
| — | — | — | — | — | — |
| usestrix/strix | 自主渗透 | 63,580 | 09-18 | Apache-2.0 | strix --target ./app-directory |
| BerriAI/litellm | 网关 | 59,120 | 09-19 | 非标准 | 见文档 |
| KeygraphHQ/shannon | 自主渗透 | 48,140 | 09-08 | AGPL-3.0 | npx @keygraph/shannon@latest |
| langfuse/langfuse | 评估 | 34,796 | 09-19 | 非标准 | 见文档 |
| promptfoo/promptfoo | 评估 | 25,274 | 09-19 | MIT | npm install -g promptfoo |
| vxcontrol/pentagi | 自主渗透 | 24,722 | 09-10 | MIT | docker compose |
| comet-ml/opik | 评估 | 22,126 | 09-19 | Apache-2.0 | 见文档 |
| confident-ai/deepeval | 评估 | 18,330 | 09-18 | Apache-2.0 | pip install -U deepeval |
| NVIDIA/SkillSpector | 技能扫描 | 17,782 | 09-18 | Apache-2.0 | uv tool install git+https://github.com/NVIDIA/skillspector.git |
| vibrantlabsai/ragas | 评估 | 15,769 | 02-24 | Apache-2.0 | 停更 |
| ifixai-ai/iFixAi | Agent 审计 | 15,582 | 09-18 | Apache-2.0 | pip install "ifixai[<provider>]" |
| GreyDGL/PentestGPT | 渗透框架 | 15,521 | 07-14 | MIT | pentestgpt --target <IP> --mode pentest |
| Portkey-AI/gateway | 网关 | 13,034 | 05-25 | MIT | 见文档 |
| 0x4m4/hexstrike-ai | MCP 工具箱 | 11,969 | 08-03 | MIT | MCP server，见仓库 |
| openai/codex-security | 代码扫描 | 10,776 | 9 月内 | 见仓库 | npx @openai/codex-security scan <dir> |
| aliasrobotics/cai | 渗透框架 | 9,833 | 08-22 | 非标准 | pip install cai-framework |
| NVIDIA/garak | 模型扫描 | 9,299 | 09-16 | Apache-2.0 | pip install -U garak |
| Tencent/AI-Infra-Guard | 红队平台 | 6,453 | 09-18 | Apache-2.0 | pip install aig-skill-scan |
| SnailSploit/Claude-Red | 技能包 | 6,213 | 08-30 | MIT | 复制 SKILL.md |
| awarexone/Agentic-Bug-Hunter | 技能包 | 4,986 | 09-17 | MIT | 见仓库 |
| langwatch/langwatch | 评估 | 4,816 | 09-19 | Apache-2.0 | npx langwatch claude |
| elementalsouls/Claude-BugHunter | 技能包 | 4,540 | 09-18 | MIT | 复制 SKILL.md |
| microsoft/PyRIT | 模型红队 | 4,509 | 09-19 | MIT | pip install pyrit |
| meta-llama/PurpleLlama | 模型安全 | 4,400 | 08-18 | 非标准 | 见仓库 |
| nolabs-ai/nono | 执行路径 | 4,132 | 09-18 | Apache-2.0 | brew install nono |
| protectai/llm-guard | 网关 | 3,208 | 07-08 | MIT | 见文档 |
| snyk/agent-scan | 技能扫描 | 3,066 | 09-18 | Apache-2.0 | uvx [email protected] <file> |
| confident-ai/deepteam | 应用红队 | 2,834 | 08-21 | Apache-2.0 | pip install -U deepteam |
| CyberStrikeus/CyberStrike | 进攻 harness | 2,811 | 09-18 | AGPL-3.0 | npm i -g @cyberstrike-io/cyberstrike@latest |
| UKGovernmentBEIS/inspect_ai | 评估 | 2,808 | 09-18 | MIT | 见文档 |
| Armur-Ai/Pentest-Swarm-AI | 自主渗透 | 2,515 | 09-16 | AGPL-3.0 | 见仓库 |
| Kritt-ai/open-kritt | 代码漏洞研究 | 2,148 | 09-15 | AGPL-3.0 | 自托管，见文档 |
| microsoft/AI-Red-Teaming-Playground-Labs | 靶场 | 2,075 | 02-13 | MIT | 停更 |
| msoedov/agentic_security | 应用红队 | 2,004 | 09-11 | Apache-2.0 | 见仓库 |
| cyberark/FuzzyAI | 模型模糊测试 | 1,576 | 02-06 | Apache-2.0 | 停更 |
| meridianlabs-ai/inspect_petri | 对齐审计 | 1,339 | 09-19 | MIT | 见文档 |
| utkusen/promptmap | 应用扫描 | 1,269 | 2025-12-01 | GPL-3.0 | 停更 |
| splx-ai/agentic-radar | 工作流扫描 | 1,054 | 2025-11-27 | Apache-2.0 | 停更 |
| centerforaisafety/HarmBench | 基准 | 1,049 | 2024-08-16 | MIT | 停更 |
| ethz-spylab/agentdojo | Agent 基准 | 842 | 06-02 | MIT | pip install agentdojo |
| slowmist/MCP-Security-Checklist | 清单 | 835 | 2025-04-28 | MIT | 停更 |
| shinthink/blitzstrike | MCP 渗透 | 636 | 09-18 | MIT | MCP server，见仓库 |
| Tcotl/AgentCapture | 反制蜜罐 | 111 | 09-19 | AGPL-3.0 | 见仓库 |

表里的星数和提交日期是 9 月 19 日的，命令照抄各仓库 README，以你装的那天为准。

附录：43 款工具地址

按类别排，地址都是 GitHub 仓库首页，命令和 license 以你打开那天的 README 为准。

自主渗透 Agent 与渗透框架

• usestrix/strix：https://github.com/usestrix/strix
• KeygraphHQ/shannon：https://github.com/KeygraphHQ/shannon
• vxcontrol/pentagi：https://github.com/vxcontrol/pentagi
• CyberStrikeus/CyberStrike：https://github.com/CyberStrikeus/CyberStrike
• Armur-Ai/Pentest-Swarm-AI：https://github.com/Armur-Ai/Pentest-Swarm-AI
• GreyDGL/PentestGPT：https://github.com/GreyDGL/PentestGPT
• aliasrobotics/cai：https://github.com/aliasrobotics/cai
• 0x4m4/hexstrike-ai：https://github.com/0x4m4/hexstrike-ai
• shinthink/blitzstrike：https://github.com/shinthink/blitzstrike

代码漏洞扫描与研究

• openai/codex-security：https://github.com/openai/codex-security
• Kritt-ai/open-kritt：https://github.com/Kritt-ai/open-kritt

红队技能包

• SnailSploit/Claude-Red：https://github.com/SnailSploit/Claude-Red
• awarexone/Agentic-Bug-Hunter：https://github.com/awarexone/Agentic-Bug-Hunter
• elementalsouls/Claude-BugHunter：https://github.com/elementalsouls/Claude-BugHunter

技能、MCP 与执行路径扫描

• NVIDIA/SkillSpector：https://github.com/NVIDIA/SkillSpector
• snyk/agent-scan：https://github.com/snyk/agent-scan
• Tencent/AI-Infra-Guard：https://github.com/Tencent/AI-Infra-Guard
• nolabs-ai/nono：https://github.com/nolabs-ai/nono
• splx-ai/agentic-radar：https://github.com/splx-ai/agentic-radar
• slowmist/MCP-Security-Checklist：https://github.com/slowmist/MCP-Security-Checklist

Agent 审计与对齐审查

• ifixai-ai/iFixAi：https://github.com/ifixai-ai/iFixAi
• UKGovernmentBEIS/inspect_ai：https://github.com/UKGovernmentBEIS/inspect_ai
• meridianlabs-ai/inspect_petri：https://github.com/meridianlabs-ai/inspect_petri
• langwatch/langwatch：https://github.com/langwatch/langwatch

模型与应用红队

• NVIDIA/garak：https://github.com/NVIDIA/garak
• microsoft/PyRIT：https://github.com/microsoft/PyRIT
• confident-ai/deepteam：https://github.com/confident-ai/deepteam
• msoedov/agentic_security：https://github.com/msoedov/agentic_security
• cyberark/FuzzyAI：https://github.com/cyberark/FuzzyAI
• utkusen/promptmap：https://github.com/utkusen/promptmap
• meta-llama/PurpleLlama：https://github.com/meta-llama/PurpleLlama
• ethz-spylab/agentdojo：https://github.com/ethz-spylab/agentdojo
• centerforaisafety/HarmBench：https://github.com/centerforaisafety/HarmBench
• microsoft/AI-Red-Teaming-Playground-Labs：https://github.com/microsoft/AI-Red-Teaming-Playground-Labs

评估与可观测

• promptfoo/promptfoo：https://github.com/promptfoo/promptfoo
• confident-ai/deepeval：https://github.com/confident-ai/deepeval
• langfuse/langfuse：https://github.com/langfuse/langfuse
• comet-ml/opik：https://github.com/comet-ml/opik
• vibrantlabsai/ragas：https://github.com/vibrantlabsai/ragas

网关

• BerriAI/litellm：https://github.com/BerriAI/litellm
• Portkey-AI/gateway：https://github.com/Portkey-AI/gateway
• protectai/llm-guard：https://github.com/protectai/llm-guard

反制

• Tcotl/AgentCapture：https://github.com/Tcotl/AgentCapture

文中引用的报告与论文

• 《Baselines Before Architecture》论文：https://arxiv.org/abs/2607.13085
• AIR Security 的 Plugin4Shell 公告：https://www.air.security/blog-posts/plugin4shell
• FreeBuf 对论文的转述：https://www.freebuf.com/articles/ai-security/501522.html
• FreeBuf 整理的 OWASP Agent 标准族：https://www.freebuf.com/articles/ai-security/501513.html
• 本号 5 月那篇《AI 红队工具怎么选？6 类 18 款对比》

免责与下一步

本文所有工具仅用于授权范围内的安全测试、自查和修复验证。在他人系统未经授权运行，等同非法入侵，法律责任自负。

你现在能做的三件事：把自己在用的工具对照总表标出停更项；在自己的靶场跑一遍裸 Codex 或 Claude Code，记下 pass@k 和花费；装任何技能包之前，先用 agent-scan 或 SkillSpector 扫一遍。

5 月那张表我留着，下一次复盘定在 2027 年 1 月，到时候再拉一遍这 43 个仓库的 pushed_at。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：AI安全工坊 AI安全工坊
AI安全工坊《AI 红队工具复盘：5 款停更，12 款新上榜》