文章总结： 本文介绍开源模型Laya的本地部署教程。Laya是Jev的开源复刻，采用判别式路线，基于ModernBERT双向编码器，专用于意图识别、路由分流等确定性判定任务，单次前向仅需数毫秒，显存占用4-6GB。文章提供保姆级四步部署流程，涵盖环境配置、权重下载、脚本编写与结果解析，并给出指定模型分支与显存优化方案，实测数据完整，可操作性强。
综合评分： 82
文章分类： AI安全,安全工具,解决方案

重磅！开源版Jev本地部署教程来了！

Hunter取证

2026年9月24日 08:58
四川

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

编者荐语：

我最喜欢读的公众号，有条件的可以自己本地部署下

以下文章来源于Datawhale
，作者Datawhale

Datawhale
.

一个专注于AI领域的开源组织，汇聚了众多优秀学习者，使命-for the learner，和学习者一起成长。

Datawhale干货

开源版Jev：Laya模型

平时我们搭 Agent 工作流或者客服系统，经常会遇到这类需求：判断用户想干嘛、工单分到哪个部门、该调哪个具体工具。这类事情没有开放式创作的要求，可如果每次都扔给几十亿参数的自回归大模型，哪怕只吐一个词，也得干等几百毫秒，输出偶尔还夹带解释废话或者残缺的 JSON。

前段时间 TypeSafe 推出 Jev 专门做这类判断，单次前向几毫秒就能搞定，但目前只有云端付费 API，权重没有开放。开源社区很快做出了完整复刻，Laya 用 Apache-2.0 协议放出了全部模型权重，可以拉回本地自己跑。

这篇文章给大家简单介绍 Laya 是什么，然后介绍四步流程把它的部署跑通。指定模型、显存优化、实验仓库这些内容统一放在教程后面，不打断上手过程。文中的延迟和显存数据，都在 aarch64 架构的 GB10 算力卡（20 核 CPU，121 GB 统一内存，PyTorch 2.14.0+cu130）上测出。

文中用到的安装命令、最小脚本和全部实测日志都放在这个仓库里，可以直接&nbsp;clone&nbsp;下来跟着跑，如果显存不足的读者，想要看看运行结果可以去下面的地址，直接看执行日志，这样就不用下载模型运行了：https://github.com/li-xiu-qi/XiaokeAILabs/tree/main/experiments/test_jev_open_source/laya（https://github.com/li-xiu-qi/XiaokeAILabs/tree/main/experiments/test_jev_open_source/laya）

Laya 是什么

Laya 做决策，不生成文本。Qwen、Claude、ChatGPT 属于自回归解码器，推理时逐 token 串行生成，哪怕只输出一个类别名称，也得走完整个生成周期。

Laya 走的是判别式路线，骨干是 ModernBERT 这类双向编码器。输入文本（State）和待判定的问题（Questions）一起输入到模型，末层直接输出各个选项的概率分布。实测单题前向 p50 在 8.31 毫秒（中文 multilingual 分支）到 16.41 毫秒（英文 english 分支）之间，三套权重全量常驻的 CUDA 占用在 4 到 6 GB，单卡即可承载。

它不适合写文章或长文本总结，适合意图识别、路由分流、安全护栏这类确定性判定任务，作为大模型的前置组件降低流水线延迟。

保姆级部署跑通教程

第一步，环境配置与依赖安装

跑 Laya 建议准备一张 6 GB 以上显存的显卡，系统内存 16 GB 以上。Linux 和 macOS 都支持（x86_64 与 aarch64 架构均可），Python 要求 3.10 或更高（实测环境为 Python 3.12）。

建议单独建一个干净的虚拟环境，避免和其他项目的依赖版本冲突。在终端敲下面几行（Windows 把第二行替换成 ~/laya-env/Scripts/activate）。

# 创建并激活虚拟环境python -m venv ~/laya-envsource&nbsp;~/laya-env/bin/activate
# 安装 laya 核心库pip install laya

装完看一下版本。

pip&nbsp;show laya

版本在 0.3.5 以上即可。国内服务器从 HuggingFace 拉权重时，先配置镜像环境，避免下载卡住。

export&nbsp;HF_ENDPOINT=https://hf-mirror.comexport&nbsp;HF_HUB_DISABLE_XET=1

第二步，权重与自动分流

官方目前放出三个预训练权重，分工如下。

日常使用不需要手动挑权重。官方封装的 Router 接口会识别输入语种并调度对应分支，输入以中文为主时自动走 laya-multilingual，直接初始化 Router 即可，具体写法就在下一步的脚本里。

第三步，编写最小运行脚本

我们先跑一个最简单的验证脚本 test_laya.py，看看它怎么接收输入并给出结果。

from&nbsp;laya&nbsp;import&nbsp;Router# 初始化路由器，指定使用 GPU 并预加载权重router = Router(device="cuda", preload=True, max_loaded=3)# 1. 待分析的输入文本state = {&nbsp; &nbsp;&nbsp;"from":&nbsp;"[email protected]",&nbsp; &nbsp;&nbsp;"subject":&nbsp;"Duplicate charge on invoice #4411",&nbsp; &nbsp;&nbsp;"body":&nbsp;"Hi, we were billed twice for March. Please refund the duplicate today or we will cancel your plan."}# 2. 定义判定问题与候选选项描述questions = {&nbsp; &nbsp;&nbsp;"department": {&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"type":&nbsp;"choice",&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"instructions":&nbsp;"Which department should handle this request?",&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"criteria": {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"billing":&nbsp;"invoices, payments, refunds",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"technical":&nbsp;"bugs, outages, system errors",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"sales":&nbsp;"pricing, new contracts",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"other":&nbsp;"everything else"&nbsp; &nbsp; &nbsp; &nbsp; }&nbsp; &nbsp; }}# 3. 执行前向推理result = router.predict(state, questions)# 4. 打印路由去向与判定结果print("路由到：", result["routing"]["model"])print("判定结果：", result["answers"]["department"]["choice"],&nbsp; &nbsp; &nbsp;&nbsp;"置信度：",&nbsp;round(result["answers"]["department"]["confidence"],&nbsp;4))

在终端执行，第一次跑会自动把权重下载到本地缓存。

python&nbsp;test_laya.py

第四步，看懂返回结果

执行完后，result 是一个标准 Python 字典，不需要用正则抠答案，也不用担心 JSON 缺括号。下面是在 GB10 上跑完 test_laya.py 拿到的完整真实返回结构。

{&nbsp;&nbsp;"model":&nbsp;"laya-rl-agent",&nbsp;&nbsp;"answers":&nbsp;{&nbsp; &nbsp;&nbsp;"department":&nbsp;{&nbsp; &nbsp; &nbsp;&nbsp;"type":&nbsp;"choice",&nbsp; &nbsp; &nbsp;&nbsp;"choice":&nbsp;"billing",&nbsp; &nbsp; &nbsp;&nbsp;"probabilities":&nbsp;{&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"billing":&nbsp;0.9582,&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"technical":&nbsp;0.017,&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"sales":&nbsp;0.0134,&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"other":&nbsp;0.0114&nbsp; &nbsp; &nbsp;&nbsp;},&nbsp; &nbsp; &nbsp;&nbsp;"confidence":&nbsp;0.8419,&nbsp; &nbsp; &nbsp;&nbsp;"action":&nbsp;{&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"act_probability":&nbsp;1.0&nbsp; &nbsp; &nbsp;&nbsp;}&nbsp; &nbsp;&nbsp;}&nbsp;&nbsp;},&nbsp;&nbsp;"usage":&nbsp;{&nbsp; &nbsp;&nbsp;"input_tokens":&nbsp;96,&nbsp; &nbsp;&nbsp;"output_tokens":&nbsp;0&nbsp;&nbsp;},&nbsp;&nbsp;"routing":&nbsp;{&nbsp; &nbsp;&nbsp;"model":&nbsp;"english",&nbsp; &nbsp;&nbsp;"repo":&nbsp;"convaiinnovations/laya",&nbsp; &nbsp;&nbsp;"reason":&nbsp;"English Latin text",&nbsp; &nbsp;&nbsp;"detection":&nbsp;{&nbsp; &nbsp; &nbsp;&nbsp;"script":&nbsp;"latin",&nbsp; &nbsp; &nbsp;&nbsp;"script_profile":&nbsp;{&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;"latin":&nbsp;1.0&nbsp; &nbsp; &nbsp;&nbsp;},&nbsp; &nbsp; &nbsp;&nbsp;"language":&nbsp;"en",&nbsp; &nbsp; &nbsp;&nbsp;"is_english":&nbsp;true,&nbsp; &nbsp; &nbsp;&nbsp;"language_undecided":&nbsp;false,&nbsp; &nbsp; &nbsp;&nbsp;"diacritic_rate":&nbsp;0.0,&nbsp; &nbsp; &nbsp;&nbsp;"non_latin_fraction":&nbsp;0.0&nbsp; &nbsp;&nbsp;},&nbsp; &nbsp;&nbsp;"workflow":&nbsp;null&nbsp;&nbsp;}}

把这个返回体落到业务代码里，看三个核心字段。

胜出选项（choice）：直接读 choice 拿到结果 billing。答案里还有一个 action.act_probability 字段，官方在 Honest limits 说明里提过，它目前读出来几乎恒为 1.0，和准确率反向，做门控用 confidence，不要读这个字段。
置信度与概率分布（probabilities / confidence）：probabilities 给出各个候选标签的概率分布（和为 1），confidence 是校准后的综合置信度。可以按它设流转门槛，得分太低就转人工或者召回大模型兜底。
路由详情（routing）：routing 记录本次请求走了哪条分支以及判定理由。换成中文输入时，reason 会变成类似 non-Latin script (han, 95% of letters); the English checkpoint cannot read it 的描述（比例随输入的中文占比变化），并自动切到 multilingual。顶层的 model 字段固定显示为 laya-rl-agent，那是底层运行标识，判断实际分支要读 routing.model。

除了单选题（choice），Laya 还支持打分题（score，输出各档位分布）和是非题（boolean，输出真值概率），在 questions 里改 type 指定。同一个 state 下可以放多个问题，单次前向一起算出。

指定模型与显存优化

默认流程跑通之后，如果业务只涉及单一语种，或者显存比较紧张，可以手动指定模型分支。这里集中给出三种方式和它们的实测代价。

第一种，Agent 直调锁定单个分支，绕过 Router，只加载一套权重。

from laya import Agent
# 只加载 multilingual 分支，不加载 english 和 typed-decisionsagent = Agent("convaiinnovations/laya", device="cuda", subfolder="multilingual")result = agent.predict(state, questions)

第二种和第三种都基于 Router。构造时传 default 设全局兜底，它只在语言检测失效时生效，日常请求仍走自动检测；predict 时传 model 做单次覆盖，优先级最高，语种检测整个跳过。

# 全局兜底：检测不到语言时走 multilingualrouter&nbsp;= Router(device="cuda", default="multilingual")
# 单次覆盖：这一批请求固定走某个分支result&nbsp;= router.predict(state, questions, model="multilingual")

手动指定拿掉了路由保护，指定错分支的代价会直接体现在置信度上。我们用同一句中文输入把四种模式完整跑了一遍。

后两行说明问题。同一句中文送给只见过英文的 english 分支，置信度从 1.0 掉到 0.50；送给没做过该场景微调的 typed-decisions 分支，只剩 0.21。中文场景下手动指定分支要用 multilingual，其余情况交给 Router 自动分流。

三种调用方式的开销对比如下（中文输入，p50）。

两个结论。延迟上三者持平，Router 做一次语种判定只多花 0.2 毫秒左右。显存差别大，Router 为了随时切换会把权重留在显存里，实测驻留 4.39 GB；Agent 锁定单分支只占 1.25 GB，单语言业务显存吃紧时用它最省。

三个权重在 HuggingFace 上的主页如下，参数规模和定位都写在卡片里。

convaiinnovations/laya 的 HuggingFace 卡片。卡片写明单次前向约 33 毫秒返回带概率的判定结果，且不做文本生成。

convaiinnovations/laya-multilingual 的 HuggingFace 卡片。底座换成 mmBERT-base，卡片明确写着除英文之外的场景都用这个权重。

convaiinnovations/laya-typed-decisions 的 HuggingFace 卡片。它在主模型基础上针对工作流可观测性、客服、发票处理和安全事件四类场景微调。

实验仓库与源码

文中的安装命令、验证脚本和测试过程都收录在开源实验仓库，直接 clone 就能跟着跑，不用逐段复制。

git&nbsp;clone&nbsp;https://github.com/li-xiu-qi/XiaokeAILabs.gitcd XiaokeAILabs/experiments/test_jev_open_source/laya

目录里除了最小脚本 test_laya.py，还有几个专用脚本：laya-verify.py 导出四种题型的完整协议结构，laya-latency.py 记录冷启动、多题合并与显存占用基准，laya-direct.py 和 laya-pin.py 对应上一节的两组实测，laya-zh-en.py 跑 20 组双语平行对照，laya-scale.py 是 1 到 256 题的合并扩展基准，laya-common.py 是模型架构与置信度算法的本地复刻。脚本的原始终端输出都在 docs/logs/ 下，文中每个数字都能回溯到日志。

不想 clone 整个仓库、只想跑最小脚本的，可以直接打开单文件页面复制。

https://github.com/li-xiu-qi/XiaokeAILabs/blob/main/experiments/test_jev_open_source/laya/test_laya.py（https://github.com/li-xiu-qi/XiaokeAILabs/blob/main/experiments/test_jev_open_source/laya/test_laya.py

中文场景的注意事项

整理中文测试集并做中英双语对照时，有四点经验可以在落地时参考。

分类准确度基本过关：客服场景的 20 组中英双语平行测试中，多语言版本的中文分类准确率为 95%，和英文主模型持平，日常工单分发能够胜任。
多语言版本置信度容易偏高：实测中文样本的平均置信度为 0.866，高于英文样本的 0.506，个别分类错误的样本也给出 0.90 以上的高分。设计自动放行逻辑时，中文场景的拦截阈值建议提到 0.95 以上。
是非题建议改成单选题：当前版本的 boolean 题型处理中文时，概率值会向中间压缩，容易漏判。二元判定需求可以直接定义成提供正反两个选项的单选题（choice），判定更稳健。
服务启动后先预热：模型刚载入显存后的第一次前向受底层 CUDA 初始化影响，首条耗时可能达到 1.9 秒。业务接流量前先传一条测试文本空跑，后续请求就进入毫秒级。

写在最后

搭 Agent 流水线时，不是每个节点都需要自回归大模型。意图分类、参数分流、输入合规这类标准明确的判断，交给判别式轻量模型，可以把局部响应压到十几毫秒，也能省下 Token 开销。先把环境搭好、最小脚本跑通，再回头看它和大模型的分工边界，会清楚很多。

一起“点赞”三连↓

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：Hunter取证《重磅！开源版Jev本地部署教程来了！》

Tags: AI安全安全工具解决方案

你可能错过

【安全圈】Cloudflare容器曝隔离漏洞：残余数据可跨租户窃取

2026 年网安联北京教育行业 SRC 众测挑战赛获奖名单公告

2026 年网安联北京教育行业 SRC 众测挑战赛获奖名单公告

关于举办2026年“黄鹤杯”网络安全人才创新大赛决赛的通知