Jev 为什么像 BERT 又像 LLM:决策模型的创新与旧谱系
“虽然等了很久,但客服已经补发,先不用退款。”判断这句话的情绪,和判断用户是否要求退款,是两个任务。传统情感分类器的任务在训练时已经确定;自然语言任务接口则允许每次请求指定判断标准。
Jev 引人关注,正因为它提供了这样的接口,同时把答案限制在给定范围内:不生成一段回答,而是针对 Choice、Score、Noul 这类类型化问题返回概率结果。“像 BERT 又像 LLM”首先描述的是这种能力组合。
这种组合已有多年的技术积累。理解 Jev 的新意,需要区分自然语言怎样定义任务,以及模型怎样输出答案。
BERT 与常见 LLM 的区别
BERT 和 LLM 不是严格互斥的两个集合。BERT 本身就是语言模型,也可以做得很大。日常语境里的“BERT 类模型”通常指 encoder-only、双向注意力、以表示学习和判别任务为主的模型;“LLM”则常被用来指 decoder-only、因果注意力、逐 token 生成的大模型。
真正有区分力的是三个维度:
| 维度 | BERT 类 encoder | 常见 decoder-only LLM |
|---|---|---|
| 注意力 | token 可同时看左右文 | 当前 token 只能看前文 |
| 训练目标 | 掩码恢复、对比学习等 | 预测下一个 token |
| 典型输出 | 类别、分数、向量、序列标签 | 可变长度文本或结构化文本 |
BERT 类模型先把完整输入编码成上下文化表示,再由分类头、序列标注头或相似度函数给出结果。对于固定标签集合,它通常只需一次前向传播,不必把答案逐字写出来。任务稳定、标注充分时,这条路线的吞吐、成本和可控性仍然很强。
decoder-only LLM 的强项不同。它把各种任务都改写成“接下来应该出现什么 token”,因此同一组参数可以摘要、翻译、写代码、分类和调用工具。它不需要为每个任务训练一个新分类头,只要在 prompt 中描述要求,甚至给几个示例即可。
这种统一换来了代价。若业务只需要从三个选项中选一个,LLM 仍可能经历提示解析、逐 token 解码、格式约束和结果解析。它能完成分类,不代表它是执行这次分类的最低成本工具。
为什么传统 BERT 不能直接用自然语言定义任务
“BERT 不能用自然语言定义任务”并不是架构定理。准确说法是:原始 BERT 的预训练目标和主流微调方式,没有把自然语言任务描述当作运行时接口。
以三分类情感模型为例,常见做法是取 [CLS] 的隐藏向量,再接一个三维分类头:
1 | |
positive、neutral、negative 这三个词通常不进入模型,而是被映射成标签 ID 0、1、2。标签的含义由训练数据和模型参数共同确定。把 negative 改名为“需要人工复核”,不会让情感分类器变成人工复核判断器:名称变了,学到的判别规则没有变。新增类别需要调整输出层,改变任务通常还需要重新训练。
这套范式还依赖任务专用监督数据。BERT 原论文强调的是“预训练表示 + 一个额外输出层 + 下游微调”。预训练阶段的 masked language modeling 教模型恢复被遮住的词,却没有系统训练它把“请按以下标准判断风险”解析为新任务,再把候选项当作本次请求的输出空间。
加上一句任务说明,并不会自动改变分类器的工作方式。模型必须在训练中学会使用这些说明,输出层也必须能够表示本次请求的候选答案。对普通的固定任务分类器而言,额外说明可能只是一串没有训练依据的 token,甚至成为噪声。
因此,传统 BERT 服务实际学习的是一个固定函数:
1 | |
自然语言定义任务要求另一种函数:
1 | |
开头那句话可以同时用于判断情绪、是否要求退款、是否需要人工复核。动态任务接口要求模型读取本次判断标准,把候选答案的含义与正文对齐,并对新候选集合给出可比较的分数;固定分类服务则把任务定义保存在模型参数和部署配置中。
BERT 其实可以被改造成动态分类器
2019 年的 NLI zero-shot classification 已经展示了改造方法:把待分类文本作为前提,把每个标签改写成待检验的命题,再用经过自然语言推断训练的 BERT 类模型判断前提是否蕴含该命题。例如,可以将开头的工单与“用户要求退款”配对。标签语义由此进入输入,未见过的新标签也能参与判断。
双向 encoder 因而也能处理动态标签,只是需要相应的训练和接口。NLI 路线通常要为每个标签分别构造文本对,计算量随标签数增长,结果也受命题措辞影响;各标签分别打分,不天然形成一次联合决策,任务表达还受限于蕴含判断。
LLM 为什么更容易接受自然语言任务
decoder-only LLM 的训练和调用接口更接近。它在大规模文本上学习:
1 | |
任务说明、示例、输入和答案都能出现在同一条 token 序列里。模型生成第一个答案 token 时,已经可以读取整段 prompt。GPT-3进一步证明,规模扩大后,许多任务可以只靠文本说明和少量示例完成,不需要梯度更新。
GPT-3 的这些能力并不依赖指令微调。InstructGPT这类指令微调和人类反馈训练,进一步提高了模型遵从指令的稳定性。指令后训练并非自然语言任务能力出现的必要条件,decoder 架构也不能独自保证这种能力。
Jev 到底做什么
TypeSafe 把 Jev 称为 System One model。这个名称来自厂商,不是已经稳定下来的学术分类。它强调的不是自由生成,而是快速、受约束的决策。
图:Jev 的输入、概率输出与应用决策。
1 | |
state 是共享的文本或结构化文本,例如工单内容、候选人资料、审核对象或一次模型回答。问题则有三种主要形式:
- Choice:在最多 255 个给定选项中选择,并返回完整概率分布。
- Score:在有序量表上评分,并返回各档概率。
- Noul:对一个二值命题返回“是”的概率。
对开头的工单,一次请求可以分别询问情绪、是否要求退款、是否需要人工复核。这些问题共享同一份 state,可以并行求值,不需要依次生成前一个问题的答案。应用代码再组合结果、设置阈值、校验权限和执行动作。
这与要求 LLM 输出 JSON 不完全相同。JSON mode 或 constrained decoding 仍然是在生成 token,只是生成空间被语法约束。Jev 的产品契约从一开始就是概率决策,而不是先生成文本、再把文本解释成决策。
它为什么同时像 BERT 和 LLM
Jev 的有界输出和概率接口接近传统 encoder 分类服务,便于代码消费。它又允许在请求中描述问题、候选项和标准,不必为每个新任务先收集标注样本。这种动态任务接口更接近 LLM 的使用方式。
截至 2026 年 10 月,公开资料不足以证明 Jev 采用 BERT+GPT 混合架构。TypeSafe 的发布材料提到 new model architecture、parallel sampler 和 RLCD,却没有公开基座、参数量、注意力结构、训练集组成或可复现的目标函数。公开证据能支持产品和训练方向,不能还原模型内部。
类似路线早已存在,为什么仍有 Jev
UniLM 在同一个 Transformer 中通过不同 attention mask 统一单向、双向和 sequence-to-sequence 任务;T5 把任务统一成 text-to-text;BART 直接组合双向 encoder 与自回归 decoder。2024 年的 LLM2Vec 又通过双向注意力和训练改造,把 decoder-only LLM 变成通用文本 encoder。理解与生成的统合已有多种实现。
动态判别也沿着前面的 NLI 路线继续发展。GLiNER 用自然语言实体类型做开放式命名实体识别;2025 年的 GLiClass 已能联合编码文本和动态标签,在一次前向传播中完成零样本或少样本多标签分类。另一种降低任务适配成本的办法是 SetFit:用 sentence transformer 和少量标注样本训练轻量分类器,但它并不靠自然语言指令定义新任务。
decoder-only LLM 也不需要在旁边挂一个 BERT 才能分类。把文本、标签说明和输出要求都放在 prompt 中,答案 token 可以看到整段输入。模型在生成 positive、negative 或某个工具调用之前,已经用自身的隐藏状态完成了判别。
开放生成与固定决策的优化重点仍然不同。前者要为下一个 token 分配概率,支持可变长度输出和流式解码;后者更关心候选答案的相对概率、吞吐、校准和一致格式。组合两套能力不会自动得到两边的最佳表现,还可能增加训练和部署复杂度。
Jev 面向的是 Agent 和自动化流程中的短小判断:标准经常变化,答案范围却很小。工单情绪、退款意图、人工复核条件可以各自调整;为每次调整重新训练分类器成本高,让通用 LLM 逐项生成解释也可能浪费算力。已有技术能处理其中不少问题,Jev 则尝试把动态任务、概率接口和并行决策做成统一服务。
Jev 的创新应当分四层看
接口层:把语义判断变成类型化问题
工单是否需要人工复核,可以根据本次请求中的标准判断;是否允许退款、退款金额多少,则由代码按权限和业务规则确定。类型化接口使语义判断容易接入这些精确规则,而无需解析一段自由文本。
推理层:共享状态上的并行决策
一份 state 可以对应多个独立问题。厂商披露的 parallel sampler 旨在同时计算这些决策,而不是像聊天模型那样串行生成一份长答案。对于几十个短检查项,这种推理形态可能显著降低尾延迟。
这里的“并行”不能夸大成所有任务都只需一次常数时间计算。总 token 预算、问题长度、选项数量和服务实现仍会影响成本。公开材料也不足以判断 sampler 的内部算法。
训练层:把概率质量放进目标
TypeSafe 把 RLCD 展开为 Reinforcement Learning from Calibrated Decisions,称它用于改善决策正确性与概率校准。这个方向很重要,因为业务不仅关心最高概率选项,还会用概率决定自动通过、转交人工或调用更贵模型。
但“为校准训练”不等于“每个概率都可信”。校准是群体性质:在大量相似预测上,标成 0.8 的事件大约应有 80% 成立。它不保证某一次 0.8 的答案正确,也不保证换了领域、提示模板和选项顺序后仍然校准。
产品层:放弃生成,换取决策经济性
jev-1.13 的官方限制页明确说它没有为生成文本训练。写邮件、解释结论和生成代码需要其他模型;Jev 专注于语义判断,可以围绕概率输出、吞吐和价格优化。它提供的产品价值需要用实际工作流中的成本与效果验证。
性能数字应该怎样读
TypeSafe 发布时报告,Jev 在部分工作流中最高可比对照快 193.6 倍、便宜 444.6 倍。这个数字不能直接解释成“Jev 普遍比 LLM 快两百倍”。厂商同时说明,测试输入较短,对 Jev 有利;LLM wrapper 被要求输出完整概率;参考答案来自大型模型的共识预测,不等于人工金标。
独立研究给出了更完整的图景。
Deußer 等人的评测 对 Jev 1.13.0 发起 346,009 次请求,覆盖 37 个数据集。论文报告 Jev 在多项零样本任务上有竞争力,Choice 概率校准较好;Noul 的固定 0.5 阈值却没有稳定落在最佳决策点。作者也无法排除部分问答对已被模型记忆。
Rao 与 Callison-Burch 发现,Jev 经常能以较低成本替代用于评分的轻量 LLM。在 Jev 最有把握却答错的样本上,约 96% 的 LLM 判决重复了同一个错误答案。作者还直接测试了按置信度升级的级联:它能降低成本,准确率提升却有限。备用模型是否有效,取决于它能否纠正前一个模型的错误,而不只是规模更大。
Denney 与 DiGiuseppe 在政治学复现任务中发现,Jev 的表现常有竞争力,但相对 GPT-6 Luna 的批量价格没有成本优势;其校准优于 Luna 的 token 概率,却没有稳定超过 Qwen3.8-27B。
独立 JevBench 报告在 Banking77 的 500 条样本上,监督微调 DistilBERT 为 88.0%,Jev 为 76.4%。两者训练条件不同:前者见过任务标签,后者是零样本服务。这组结果提醒了选型时容易忽略的一点:对稳定且有标注的任务,专用 encoder 仍可能更准确。
“零幻觉”不等于不会答错
TypeSafe 官网把 0% hallucination 限定为 schema 保证。Jev 不会突然返回一首诗,也不会凭空造出候选项之外的字段。这是输出结构安全,不是语义正确率。
如果正确答案没有列在 Choice 选项里,模型仍可能自信地选错。因此官方建议为开放集合提供 other 或 none。即便如此,也不能保证模型会正确拒绝所有残缺选项。
同样,Jev 的 confidence 不能读成“答案正确概率”。Choice 的 confidence 是最高选项概率相对均匀分布的归一化距离:
1 | |
三分类中最高概率为 0.6,confidence 是 0.4,不是 0.6。它描述分布有多尖锐,而不是另一个正确性预测头。Noul 直接返回概率,没有独立 confidence 字段。
官方的 jaggedness 文档还列出了计数、精确数学、日期比较、多跳间接推理、无关长上下文、对抗指令、矛盾标准和选项顺序等弱点。输入 state 中的恶意指令也可能改变结果。类型安全不能替代 prompt injection 防护。
三类模型该怎样选
| 任务 | 优先选择 | 原因 |
|---|---|---|
| 标签稳定、有训练数据、高吞吐分类 | 微调 BERT/ModernBERT 等 encoder | 专用模型通常更快、更便宜,也可能更准 |
| 需要生成文本、解释结论或生成工具调用 | decoder LLM | 支持可变长度输出,表达与规划能力更强 |
| 标准经常变化、输出有界、缺少任务标签 | Jev 或同类决策模型 | 用自然语言改标准,同时保留概率与类型 |
| 精确算术、权限、合规硬规则 | 普通代码或规则引擎 | 这些问题不应交给概率模型 |
实际系统可以按任务组合这些工具:encoder 承担成熟分类任务,Jev 类模型处理变化的语义标准,LLM 负责生成和复杂解释,代码执行硬规则。组合是否值得,需要同时评估错误、延迟、成本和维护负担。
最后的判断
Jev 展示了一种可用的产品形态:任务标准由请求提供,答案范围由接口限定,执行规则由代码控制。其内部架构是否构成新的突破,仍需更多公开证据。
参考资料
- Introducing System One Models and Jev
- TypeSafe Docs: Introduction
- TypeSafe Docs: System One
- TypeSafe Docs: Choice
- TypeSafe Docs: Confidence
- TypeSafe Docs: Jev 1.13 jaggedness
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Unified Language Model Pre-training for Natural Language Understanding and Generation
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- BART: Denoising Sequence-to-Sequence Pre-training
- Benchmarking Zero-shot Text Classification
- Language Models are Few-Shot Learners
- Training language models to follow instructions with human feedback
- SetFit: Efficient Few-Shot Learning Without Prompts
- GLiNER: Generalist Model for Named Entity Recognition
- LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
- ModernBERT: A Modern Bidirectional Encoder
- GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
- Evaluating and Benchmarking the System One Model Jev
- Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
- Using Jev for Political Science Replication Tasks
- JevBench Banking77 n=500 results

