decision.host
首页 / 评估 / jculture mcq

jculture mcq

S1MB 公开 NLP 数据集 Noul 57 个模型参评

这是 S1MB 英文套件中的一个基准，取自 jculture-mcq 子集。判断作者定义的一个真/假条件是否成立，返回两个类别的概率，主指标是 Brier 分数，越低越好。该基准包含 283 个 case、283 个判断。评测协议：S1MB 把原始任务改写为类型化决策问题，模型必须输出概率分布，分数经过「忽略输入的基线」校正后折算到 0–100（50 分代表补上了一半差距，不是答对一半）。

这是 S1MB 英文套件中的一个基准，取自 jculture-mcq 子集。判断作者定义的一个真/假条件是否成立，返回两个类别的概率，主指标是 Brier 分数，越低越好。该基准包含 283 个 case、283 个判断。评测协议：S1MB 把原始任务改写为类型化决策问题，模型必须输出概率分布，分数经过「忽略输入的基线」校正后折算到 0–100（50 分代表补上了一半差距，不是答对一半）。

基准定义评测数据集评测代码

评估集信息

所属套件
S1MB
分组
公开 NLP 数据集
决策类型
Noul · 是否
样本量
283 个 case
判断数
283
主指标
Brier 分数（越低越好）
优化方向
越低越好
参评模型
57 个
最佳分
44.3
平均分
12.8

这个评估集测什么

这是 S1MB 英文套件中的一个基准，取自 jculture-mcq 子集。判断作者定义的一个真/假条件是否成立，返回两个类别的概率，主指标是 Brier 分数，越低越好。该基准包含 283 个 case、283 个判断。评测协议：S1MB 把原始任务改写为类型化决策问题，模型必须输出概率分布，分数经过「忽略输入的基线」校正后折算到 0–100（50 分代表补上了一半差距，不是答对一半）。

在该评估集上的模型成绩（57 个）

#模型得分 对比其他指标模态官方链接
1 JEVision
divyanshx11 · S1MB
 0.0 准确率 47.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
2 Vision-Jev 0.8B
LMDHQ-0420 · S1MB
 0.0 准确率 46.6 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
3 Decider Vision 2B
Mapika · S1MB
 0.0 准确率 46.6 文本 Hugging Face 权重 ↗ 代码仓库 ↗
4 Visual Jev 4B
guanxuyu · S1MB
 0.4 准确率 47.4 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
5 D3 Nano
vllm-sr · S1MB
 1.0 准确率 49.8 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
6 jpt-0.8b
社区 · S1MB
 1.0 准确率 50.5 图像 HF · 9B ↗ Hugging Face 权重 ↗
7 Saihai v1 310M
hotchpotch · S1MB
 1.1 准确率 48.4 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
8 OmniJev/OneJev1.5-0.8B
OmniJev · S1MB
 1.2 准确率 49.1 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
9 D3 Edge
vllm-sr · S1MB
 1.2 准确率 50.5 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
10 OneJev 0.8B
OmniJev · S1MB
 1.5 准确率 49.1 图像 Hugging Face 权重 ↗ S1MB 排行榜 ↗
11 Intern Decision 4B
Intern Large Model · S1MB
 2.1 准确率 48.4 图像 Hugging Face 权重 ↗ 代码仓库 ↗
12 togethercomputer/Tev1-4B-experimental
Together AI · S1MB
 2.4 准确率 48.4 文本 Hugging Face 权重 ↗ 代码仓库 ↗
13 D3 Lite
vllm-sr · S1MB
 3.1 准确率 50.9 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
14 convaiinnovations/laya-multilingual
Convai Innovations · S1MB
 3.1 准确率 48.8 文本 Hugging Face 权重 ↗ HF · 多语言 ↗
15 Vev 9B (non-commercial)
CountingSheep · S1MB
 4.2 准确率 49.8 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
16 OneJev 1.6 4B
OmniJev · S1MB
 5.0 准确率 50.9 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
17 Imajev 2B
mohit67890 · S1MB
 5.1 准确率 51.9 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
18 Imajev 4B
mohit67890 · S1MB
 5.1 准确率 50.5 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
19 Vev 4B (non-commercial)
CountingSheep · S1MB
 5.2 准确率 49.8 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
20 KnowLine-4B-Gen4
PelaAI · S1MB
 5.8 准确率 51.6 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
21 Aplomb 1
EmpirioLabs AI · S1MB
 6.0 准确率 50.9 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
22 jpt-4b
社区 · S1MB
 6.9 准确率 51.2 图像 HF · 9B ↗ Hugging Face 权重 ↗
23 OmniJev/OneJev1.5-9B
OmniJev · S1MB
 7.1 准确率 51.6 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
24 saihai-8b
hotchpotch · S1MB
 7.6 准确率 51.6 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
25 Clef-flash
Cloudflare · S1MB
 7.9 准确率 52.6 图像 Hugging Face 权重 ↗ 官方文档 ↗
26 Perplexity Decider v1 (27B)
Perplexity · S1MB
 9.6 准确率 52.6 图像 Hugging Face 权重 ↗ 官方文档 ↗
27 D3 Flash
vllm-sr · S1MB
 10.1 准确率 53.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
28 Imajev 9B
mohit67890 · S1MB
 10.6 准确率 53.4 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
29 KnowLine-4B-Gen3
PelaAI · S1MB
 10.8 准确率 54.1 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
30 RSI-Jev v5.0 VL 3B
社区 · S1MB
 11.5 准确率 54.1 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
31 D3 Mini
vllm-sr · S1MB
 13.5 准确率 55.1 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
32 OneJev 1.6 9B
OmniJev · S1MB
 13.7 准确率 55.1 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
33 jpt-9b
社区 · S1MB
 13.9 准确率 55.5 图像 HF · 9B ↗ Hugging Face 权重 ↗
34 Jebadiah 9B v0
Frontier Infra · S1MB
 14.0 准确率 55.5 文本 HF · 9B ↗ Hugging Face 权重 ↗
35 KnowLine-35B-A3B-Gen1.5
PelaAI · S1MB
 14.7 准确率 56.2 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
36 Clef
Cloudflare · S1MB
 15.1 准确率 56.2 图像 Hugging Face 权重 ↗ 官方博客 ↗
37 e12ex2 Jev Vision 27B
e12ex2 · S1MB
 16.1 准确率 56.2 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
38 Winnow 12B
EldanRing · S1MB
 16.4 准确率 57.6 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
39 Meta Encoder
facebook · S1MB
 17.1 准确率 56.5 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
40 OpenJev-27B
openjev（社区） · S1MB
 17.5 准确率 56.9 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
41 Xor 1.2 / Xor 26B-A4B
Juspay Technologies · S1MB
 17.9 准确率 57.2 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
42 Darwin-27B-ZTC-v5
FINAL-Bench · S1MB
 18.1 准确率 57.2 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
43 Maincode/matilda-jev-v1.5
Maincode · S1MB
 19.0 准确率 58.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
44 JEV-27B-VL
未标注 · S1MB
 19.3 准确率 58.0 图像 排行榜 ↗ Hugging Face 权重 ↗
45 Sqwish kettei-chub v1.0 (API)
· S1MB
 19.5 准确率 58.7 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
46 OmniJev/OneJev1.5-27B
OmniJev · S1MB
 20.0 准确率 58.7 图像 Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗
47 torchcast-decision-27b(Based:Startlux)
Torchcast AI · S1MB
 22.1 准确率 59.7 文本 Hugging Face 权重 ↗ systemonemodels.org ↗
48 OneJev 1.6 27B
OmniJev · S1MB
 22.5 准确率 60.1 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
49 Surogate Rune 26B-A4B v3
Surogate · S1MB
 24.9 准确率 61.5 图像 Hugging Face 权重 ↗ systemonemodels.org ↗
50 Jev 1.13
TypeSafe AI · S1MB
 25.4 准确率 61.5 图像 官网 ↗ 官方文档 ↗
51 Respan Span-01
Respan · S1MB
 26.3 准确率 61.8 图像 OpenRouter ↗ 官方文档 ↗
52 Perplexity Decider v1.1 (27B)
Perplexity · S1MB
 27.2 准确率 62.5 图像 Hugging Face 权重 ↗ 官方文档 ↗
53 GPT-6 Luna（Decisions API）
OpenAI · S1MB
 31.6 准确率 66.4 图像 官方文档 ↗ OpenRouter ↗
54 startlux-models/StartLux-Decision-v1.1-27B-Instant
StartLux · S1MB
 31.7 准确率 65.0 图像 Hugging Face 权重 ↗ 论文 ↗
55 D3 (27B)
vllm-sr · S1MB
 33.3 准确率 65.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
56 Amos 1 Large
mukaddamzaid · S1MB
 37.5 准确率 67.8 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
57 Sqwish kettei-fat v1.0 (API)
· S1MB
 44.3 准确率 71.7 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗