decision.host
首页 / 评估 / generalization vision easy

generalization vision easy

S1MB S1MB 泛化(合成) Noul 43 个模型参评

这是 S1MB 英文套件中的一个基准,取自 generalization-vision-easy 子集。判断作者定义的一个真/假条件是否成立,返回两个类别的概率,主指标是 Brier 分数,越低越好。该基准包含 300 个 case、300 个判断。评测协议:S1MB 把原始任务改写为类型化决策问题,模型必须输出概率分布,分数经过「忽略输入的基线」校正后折算到 0–100(50 分代表补上了一半差距,不是答对一半)。

这是 S1MB 英文套件中的一个基准,取自 generalization-vision-easy 子集。判断作者定义的一个真/假条件是否成立,返回两个类别的概率,主指标是 Brier 分数,越低越好。该基准包含 300 个 case、300 个判断。评测协议:S1MB 把原始任务改写为类型化决策问题,模型必须输出概率分布,分数经过「忽略输入的基线」校正后折算到 0–100(50 分代表补上了一半差距,不是答对一半)。

评估集信息

所属套件
S1MB
分组
S1MB 泛化(合成)
决策类型
Noul · 是否
样本量
300 个 case
判断数
300
主指标
Brier 分数(越低越好)
优化方向
越低越好
参评模型
43 个
最佳分
100.0
平均分
87.4

这个评估集测什么

这是 S1MB 英文套件中的一个基准,取自 generalization-vision-easy 子集。判断作者定义的一个真/假条件是否成立,返回两个类别的概率,主指标是 Brier 分数,越低越好。该基准包含 300 个 case、300 个判断。评测协议:S1MB 把原始任务改写为类型化决策问题,模型必须输出概率分布,分数经过「忽略输入的基线」校正后折算到 0–100(50 分代表补上了一半差距,不是答对一半)。

在该评估集上的模型成绩(43 个)

#模型得分 对比其他指标模态官方链接
1 D3 Edge
vllm-sr · S1MB
26.9 准确率 63.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
2 Vision-Jev 0.8B
LMDHQ-0420 · S1MB
39.7 准确率 69.7 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
3 JEVision
divyanshx11 · S1MB
40.3 准确率 70.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
4 jpt-0.8b
社区 · S1MB
55.6 准确率 77.7 图像 HF · 9B ↗ Hugging Face 权重 ↗
5 OmniJev/OneJev1.5-0.8B
OmniJev · S1MB
70.0 准确率 85.0 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
6 D3 Lite
vllm-sr · S1MB
70.8 准确率 85.3 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
7 OneJev 0.8B
OmniJev · S1MB
73.4 准确率 86.7 图像 Hugging Face 权重 ↗ S1MB 排行榜 ↗
8 Decider Vision 2B
Mapika · S1MB
75.4 准确率 87.7 文本 Hugging Face 权重 ↗ 代码仓库 ↗
9 Visual Jev 4B
guanxuyu · S1MB
76.8 准确率 88.3 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
10 Imajev 2B
mohit67890 · S1MB
78.1 准确率 89.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
11 D3 Nano
vllm-sr · S1MB
86.1 准确率 93.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
12 Vev 4B (non-commercial)
CountingSheep · S1MB
90.7 准确率 95.3 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
13 Surogate Rune 26B-A4B v3
Surogate · S1MB
91.3 准确率 95.7 图像 Hugging Face 权重 ↗ systemonemodels.org ↗
14 D3 Mini
vllm-sr · S1MB
91.4 准确率 95.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
15 Imajev 4B
mohit67890 · S1MB
92.0 准确率 96.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
16 Intern Decision 4B
Intern Large Model · S1MB
92.0 准确率 96.0 图像 Hugging Face 权重 ↗ 代码仓库 ↗
17 jpt-4b
社区 · S1MB
92.7 准确率 96.3 图像 HF · 9B ↗ Hugging Face 权重 ↗
18 Clef-flash
Cloudflare · S1MB
93.3 准确率 96.7 图像 Hugging Face 权重 ↗ 官方文档 ↗
19 Perplexity Decider v1 (27B)
Perplexity · S1MB
93.3 准确率 96.7 图像 Hugging Face 权重 ↗ 官方文档 ↗
20 RSI-Jev v5.0 VL 3B
社区 · S1MB
93.4 准确率 96.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
21 Image Hopper
HopitAI · S1MB
93.4 准确率 96.7 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
22 Vev 9B (non-commercial)
CountingSheep · S1MB
94.0 准确率 97.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
23 Aplomb 1
EmpirioLabs AI · S1MB
94.7 准确率 97.3 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
24 OneJev 1.6 4B
OmniJev · S1MB
94.7 准确率 97.3 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
25 OmniJev/OneJev1.5-9B
OmniJev · S1MB
96.0 准确率 98.0 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
26 GPT-6 Luna(Decisions API)
OpenAI · S1MB
96.0 准确率 98.0 图像 官方文档 ↗ OpenRouter ↗
27 jpt-9b
社区 · S1MB
96.0 准确率 98.0 图像 HF · 9B ↗ Hugging Face 权重 ↗
28 Imajev 9B
mohit67890 · S1MB
96.0 准确率 98.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
29 Xor 1.2 / Xor 26B-A4B
Juspay Technologies · S1MB
96.0 准确率 98.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
30 OneJev 1.6 9B
OmniJev · S1MB
96.7 准确率 98.3 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
31 Darwin-35B-ZTC-Vision
FINAL-Bench · S1MB
97.3 准确率 98.7 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
32 Respan Span-01
Respan · S1MB
97.3 准确率 98.7 图像 OpenRouter ↗ 官方文档 ↗
33 D3 Flash
vllm-sr · S1MB
98.0 准确率 99.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
34 OneJev 1.6 27B
OmniJev · S1MB
98.7 准确率 99.3 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
35 startlux-models/StartLux-Decision-v1.1-27B-Instant
StartLux · S1MB
98.7 准确率 99.3 图像 Hugging Face 权重 ↗ 论文 ↗
36 Jev 1.13
TypeSafe AI · S1MB
98.7 准确率 99.3 图像 官网 ↗ 官方文档 ↗
37 Maincode/matilda-jev-v1.5
Maincode · S1MB
98.7 准确率 99.3 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
38 JEV-27B-VL
未标注 · S1MB
98.7 准确率 99.3 图像 排行榜 ↗ Hugging Face 权重 ↗
39 e12ex2 Jev Vision 27B
e12ex2 · S1MB
99.3 准确率 99.7 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
40 OmniJev/OneJev1.5-27B
OmniJev · S1MB
99.3 准确率 99.7 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
41 KnowLine-35B-A3B-Gen1.5
PelaAI · S1MB
99.3 准确率 99.7 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
42 D3 (27B)
vllm-sr · S1MB
99.3 准确率 99.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
43 Amos 1 Large
mukaddamzaid · S1MB
100.0 准确率 100.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗