Jev, measuredSystem One 实测 封面
技术深潜 · 全网研究 + 香港真机实测 · 2026-09-21
Jev, measured.
TypeSafe 首个 System One 模型 —— 不复述官方 PPT,每个数字都从真机探针来
810ms
香港 p50 · 其中 ~714ms 是网络
$0.042/Mtok
输入价 · 输出免费 ✓ 坐实
80.7%
Banking77 金标 · 过度自信 +8pt
8 探针
+ maze + 全网 Twitter 汇总
Neo SUN
jevkit · github.com/neosun100/aws-jev · jev-measured.pages.dev

开场一句话:JEV 不是日本脑炎,是 TypeSafe 在 9 月 15 号发布的第一个「System One」模型。

今天这份材料的特别之处是——它不复述官方 PPT,每个性能数字我都从香港真机打了探针,官方数字和实测对不上的地方,我都两个都给你看。

Part 1
What Jev is
是什么
决策模型,不是聊天模型:非结构化 state 进,带校准概率的类型化决策出。
不生成文本三种 primitive 类型安全是数学保证RLCD 训练
Jev, measured
02

第一章先把它到底是什么讲清楚,因为它跟你熟悉的 LLM 完全不是一类东西。

Ch.1 · 定位

一个「前沿智能的函数调用」 unstructured state in · typed probabilistic decisions out

它不做什么

  • 不生成文本 —— 没有散文、没有你要解析的 JSON、没有工具调用
  • 不做数学 / 日期 / 计数(厂商自己让你「留在代码里算」)
  • 纯文本输入,规划按 32k 上下文窗口

两条结构性事实

  • ① 不可能出类型错误 —— schema 事先定死,是数学保证不是实测
  • ② 「不会幻觉」= 对答案的形状的保证,不是内容 —— 它可以自信地答错

厂商 & 出身

  • TypeSafe AI,创始人 Diogo Almeida(前 OpenAI,做过 ChatGPT 背后的 RLHF 研究),潜行约 2 年
  • 用 RLCD(Reinforcement Learning for Calibrated Decisions)训练,优化「校准过的诚实概率」
  • 价格 $0.042/Mtok 输入,输出免费(实测坐实)
Jev, measured · Ch.1 定位03

记住这个比喻:它是一个「前沿智能的函数调用」。你给它一段 state 和几个类型化的问题,它返回带概率的答案,你的代码拿去用。

最重要的一句:「不会幻觉」保证的是答案的形状合法,不是内容正确。这句话后面第三章会反复用到,它是整个品类最容易误导人的地方。

Ch.1 · API 全貌

整个 API 就三种问题类型 每个 question 是其中之一

noul

yes 的概率 → 0–1
  • 返回概率不是 bool,阈值你定
  • 没有 confidence 字段(实测,最容易踩)
  • 是 "Bernoulli" 的缩写

choice

从封闭集选一个(≤255)
  • 返回选择 + 完整分布 + confidence
  • 不可能造出集合外的选项
  • 这就是能当安全分支键的原因

score

有序等级上的位置
  • 返回小数分(各等级概率的期望)
  • + 每级概率 + confidence
  • 0.51/0.49 → ~1.49,保留「模型拿不准」

选哪个

  • 是非题 → noul;互斥类别 → choice;有序的严重度/质量 → score
  • 三者都能吃结构化 JSON(不只字符串)当 instructions/criteria,做更细的规则
Jev, measured · Ch.1 primitives04

三个 primitive 就是全部。noul 是概率不是布尔,这点特别重要——阈值永远是你的代码定,不是模型定。

还有一个坑:noul 不返回 confidence,只有 choice 和 score 有。这个我实测确认过,后面代码里会体现。

Part 2
The measurements
实测
香港真机经 OpenRouter,模型 typesafe/jev-1.13-20260917。每个数字用 uv run jevkit-probe 可复现。
延迟:网络 vs 计算成本坐实 非确定性Banking77 金标校准
Jev, measured
05

第二章是这份材料的核心:我把厂商的每条声明都做成一个探针,真机打,看对不对。

Ch.2 · 先给结论

四个实测数字 香港 → US-West,2026-09-21

输入价格
$0.042/Mtok
输出免费 ✓ 坐实
延迟 p50(香港)
810ms
▲ 其中 ~714ms 是网络
Banking77 金标准确率
80.7%
1092 例 · 77 选 1
过度自信缺口
+8pt
▲ ECE 8.2% · AUROC 0.835

怎么读这四个数

  • 价格与「输出免费」为真;fanout(一次问多题)实测 6 题 4.12× 省钱、6.22× 快
  • 延迟的锅在网络:网络地板 714ms,Jev 自己的计算只 ~100ms ⇒ 厂商模型侧的 70-500ms 是真的,只是不适用香港
  • 校准方向对(AUROC 0.84 能排序对错),但系统性过度自信 ~8 分 ⇒ 上阈值前先减一截余量
Jev, measured · Ch.2 KPI8 个探针 · ~$0.002 全跑一遍06

先给结论。价格和免费输出,实测坐实。

延迟这个数字最有意思:香港实测 810 毫秒,但我单独测了纯网络往返地板是 714 毫秒——所以 Jev 自己的计算只占 100 毫秒。厂商那个 70 到 500 毫秒是在美国西海岸本地测的,是真的,只是从香港打过去,88% 的时间花在网络上。

校准这块用的是 Banking77 这个有人工金标签的基准,不是 LLM 互相打分。准确率 80.7%,但系统性过度自信 8 个点——这意味着你不能直接拿它报的置信度当真,上阈值前要减一截。

Ch.2 · 声明 vs 实测

厂商声明,逐条核对 ✅ 坐实 · ⚠️ 有前提 · 🔴 反着的

厂商声明探针实测判定
70–500ms 端到端latency香港 p50 810ms;网络地板 ~714ms → 计算 ~100ms⚠️ 模型侧成立,香港的锅在网络
$0.042/Mtok,输出免费cost实测 $0.042/Mtok,输出 $0✅ 坐实
不会幻觉 / 无类型错误type_safety注入攻击下仍 in-schema✅ 形状安全(≠ 抗注入)
fanout 更省更快fanout6 题批量:4.12× 省钱、6.22× 快✅ 真
「更一致」determinism同输入 15 次 noul 漂 ±0.04⚠️ 一致 ≠ 确定
state 规则 = 可编程 ifinstruction_override电车难题里无视你写的优先级,连「忽略安全」都照选急刹🔴 规则只是建议
封闭 choice = 安全分支closed_set_trap「火星天气」被强归到 technical @ conf 0.99;加 abstain+noul 门控才救回「none」🔴 强制选一个
Jev, measured · Ch.2 核对07

这张表是全场重点。绿色的是坐实的,黄色的是有前提的,红色的是跟直觉反着的——那两条红的,是任何人拿 Jev 做架构前必须知道的。

最后两行:state 里写的规则不是硬约束,模型的先验会压过它;封闭选项集会强制它选一个,哪怕正确答案是「都不对」。这两条我下一页展开。

Part 3
What will bite you
会咬你的坑
来自真机探针 + 第三方独立评测(Nous Research、Good Start Labs、知乎程墨Morgan)。
会静默退化成常数规则是建议 强制选一个类型安全≠抗注入
Jev, measured
08

第三章是工程含义。这些坑不是理论,是真机和第三方评测里真实发生的。

Ch.3 · 五个坑

会咬你的五件事 每条都配一个代码侧对策

① 「不会幻觉」≠「不会错」

能自信答错,更糟的是会静默退化成常数。Nous Research:真实排序任务里 Jev 打平「按时间排序」这种 $0 基线(77.8 vs 77.8),默认阈值下丢掉 851 项里的 100%。合法类型的常数输出看不出来。

对策:永远配一个平凡基线并排比。

② state 规则是建议不是约束

预训练先验会压过你写在 state 里的规则(instruction_override 探针;知乎程墨Morgan 独立复现,382 赞)。

对策:任何安全/合规阈值都要代码侧兜底。

③ choice 一定会选一个

哪怕正确答案是「都不对」,它也高置信度返回一个。

对策:加显式 abstain 选项 + 用 noul 先问「这题可答吗」。

④ 类型安全 ≠ 抗注入 · 英文优先

in-schema 有保证,答案不被操纵没有保证。厂商自认:对抗性内容能移动答案。发票处理在自家榜单低 17.3 分(数字+日期),CJK「支持但不如英文」。

对策:当 guardrail 前测对抗输入;中文场景先自测。

Jev, measured · Ch.3 坑09

第一个坑最关键:它会静默退化成常数函数。因为输出类型永远合法,你根本看不出来它其实什么都没判。Nous Research 实测,它的判断打平「按时间排序」这种一行代码的基线。所以铁律是:永远配一个平凡基线并排跑,报警看它有没有增量价值。

第二三个坑是我自己探针复现的:规则会被先验压过,封闭集会强制选一个。对策都在代码侧——兜底、加 abstain、noul 门控。

Ch.3 · 选型

什么时候它是错的工具 诚实的决策矩阵

方案成本/1M 决策p50要标注?比 Jev 强在哪
Jev~$1600.23s否最快;免标注;英文文本决策
微调编码器 (ModernBERT/mDeBERTa)~$0–51–20ms是相干校准、可自托管、多语言——如果你有标注
嵌入 + 逻辑回归分/十亿µs是有个 Jev 克隆只 40KB;极致便宜
Gemini Flash / GPT-5-nano$100–16001.3–2.9s否多模态、1M 上下文、prompt 缓存
纯代码 / 正则~$0µs否一切确定性的(含数学、日期)

一句话结论

  • Jev 赢在:要前沿级判断 + 亚秒延迟 + 近零边际成本 + 英文 + 没有标注数据,且能容忍 ~68% 准确率 + 代码侧兜底
  • 发布 48 小时内出现 6 个开源克隆;独立基准上开源 DeepSeek Flash 比 Jev 高 2 分、每决策只贵 $0.0001
Jev, measured · Ch.3 选型10

最后给一个诚实的选型矩阵。如果你有历史标注数据,微调一个小编码器往往更划算——更便宜、校准相干、能自托管、还多语言。

Jev 真正的甜区是:没有标注、要亚秒延迟、英文文本决策、能接受 68% 准确率加代码兜底。发布 48 小时就有 6 个开源克隆,说明这个洞见本身比它的专有权重更容易复制。

最后给一个诚实的选型矩阵。如果你有历史标注数据,微调一个小编码器往往更划算。

Part 4
The reaction
全网评价
firecrawl 抓 Twitter/X + LinkedIn:3,020 条去重成 1,080 条独立发言(另有 OpenChamber 审计 12,759 条)。
正面 55% · 负面 10%6–25× 而非 193× 2 天 6 个克隆独立印证了我们的实测
Jev, measured
11

第四章是加料:我起了 20 个 agent 把全网对 Jev 的评价扒了一遍,1080 条独立发言。分歧非常清晰。

Ch.4 · 分歧

两个阵营,从不交汇 @MParakhin:ChatGPT 后入行的人像刚发现火;之前的 ML 老兵困惑这怎么能上新闻

👍 最强正面

  • @rauchg(Vercel CEO, 3.9k♥):生产里的安全审查器,Jev「p95 快 18 倍且更准,很可能成新默认」
  • @cramforce(Vercel CTO, 1.1k♥):现有分类器评测「质量和速度都赢了(6 倍)」
  • @hxiao(Jina CEO):把它定位成「System 1」非常巧妙
  • Vercel:AI Gateway 史上采用最快的模型,首日 ~13% 团队

👎 最尖锐批评

  • @NathanFlurry(7.5k♥):「Jev 就是个非常聪明的 switch 语句……所谓新,是换了包装」
  • @epochster:「就是加了营销预算的 argmax」
  • Stefan Gabriel:「类型安全 ≠ 事实安全;自家评测 67.8%,三次错一次」
  • @Steve8708(Builder.io CEO, 3.0k♥):「Jev 很棒,但别再发假 demo 了」

诚实的共识

  • 没人独立复现「快 193.6 倍」—— 实测区间 6–25 倍,那个 6 倍还是最大分发伙伴的 CTO 测的
  • 护城河浅:2 天 6 个开源克隆,Bespoke Nimble 达到 90% vs Jev 93%。swyx:「发明的是接口,不是权重。」
Jev, measured · Ch.4 全网评价12

正面看 Vercel:CEO 说生产里 p95 快 18 倍且更准,这是全场最有分量的背书。但注意他家 CTO 独立测出来是 6 倍,不是 193 倍——这个对比本身就是重点。

负面最狠的三条:「聪明的 switch 语句」「加营销预算的 argmax」「类型安全不等于事实安全」。护城河是真的浅,2 天 6 个克隆,一个达到 90% 对 93%。

Ch.4 · 交叉验证

全网独立印证了我们的实测 素不相识的人,没有协调,复现了同样的结论

我们的发现全网独立印证
Banking77 过度自信 ~8pt@whereischarly 跑同一数据集测得 ~10pt(0.894 vs 0.794);jev-decision-bench ECE ~7pp
香港 p50 810ms(网络地板 714ms)jev-decision-bench:105ms 服务端,「网络另算,端点在美国」;伦敦/东京同样跨洋延迟
非确定性(同输入漂移)@scaling01:TypeSafe 有 LLaDA 分支(扩散模型)—— 正解释了漂移;@odashi_t 论证「temperature 0」说法错
封闭 choice 强制选一个Anthony Maio:「Jev 约束的是输出的形状,不是判断」——正是我们的 closed_set_trap
state 规则被静默压过公开记录只有「把规则放模型外」的建议,没有实测 —— 这条是我们独有
香港/亚洲延迟画像全网唯一公布亚洲 p50 的就是我们

为什么这一页最重要

  • 它把「我们自己测的」升级成「全网可交叉验证的」—— 过度自信、延迟、封闭集三条都有独立第三方在同数据集上复现
  • 而非确定性、state 规则、亚洲延迟三条,是整个公开记录里只有我们测了的 —— 这是这份材料的独特价值
Jev, measured · Ch.4 交叉验证13

这页是全场最重要的一页。左边是我们测的,右边是全网素不相识的人独立复现的。

过度自信——有人跑了同一个 Banking77,测出 ~10 分,和我们的 ~8 分是一回事。延迟——有个开源 bench 从响应头读到 105 毫秒服务端,网络另算,正好解释我们香港的 810。

而下面三条——非确定性、state 规则被压过、亚洲延迟画像——是整个公开记录里只有我们测了的。这就是为什么这份材料值得存下来:它既能交叉验证,又补上了别人没测的空白。