BLINK
Perception puzzles that people solve at a glance but models often miss, sometimes across two or more images.
评估集信息
- 所属套件
- Decision Index Vision
- 分组
- 多模态决策（图像输入）
- 决策类型
- 图像 + 文本决策
- 主指标
- accuracy
- 优化方向
- 越高越好
- 参评模型
- 20 个
- 最佳分
- 63.0
- 平均分
- 32.0
- 基准权重
- 1
- 上游数据集
- BLINK
- 数据许可证
- 见上游原始数据集
这个评估集测什么
Tests whether a model really looks at the image instead of guessing from the wording.
Seven subtasks of the validation split; 2 to 4 options over 1 to 4 images.
示例：Given two photos of the same room, how did the camera move between them?
在该评估集上的模型成绩（40 个）
| # | 模型 | 得分 | 对比 | 其他指标 | 模态 | 官方链接 |
|---|---|---|---|---|---|---|
| 1 | JEV-27B-VL
未标注 · Decision Index · Vision |
63.0 | public | 图像 | 排行榜 ↗ Decision Index Vision 子榜 ↗ | |
| 2 | Perplexity Decider v1.1 (27B)
Perplexity · Decision Index · Vision |
62.0 | private | 图像 | Hugging Face 权重 ↗ 官方文档 ↗ | |
| 3 | Solomon v1.1 (27B)
Doccy Health · Decision Index · Vision |
59.3 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 4 | Solomon v1.1 (27B)
Doccy Health · Decision Index · Vision |
59.1 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 5 | JEV-27B-VL
未标注 · Decision Index · Vision |
58.7 | private | 图像 | 排行榜 ↗ Decision Index Vision 子榜 ↗ | |
| 6 | Xor 1.2 / Xor 26B-A4B
Juspay Technologies · Decision Index · Vision |
57.1 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 7 | Perplexity Decider v1.1 (27B)
Perplexity · Decision Index · Vision |
54.7 | public | 图像 | Hugging Face 权重 ↗ 官方文档 ↗ | |
| 8 | JPT-4B
社区 · Decision Index · Vision |
53.8 | public | 图像 | HF · 9B ↗ Hugging Face 权重 ↗ | |
| 9 | Intern-Decision-4B
Intern Large Model · Decision Index · Vision |
53.6 | public | 图像 | Hugging Face 权重 ↗ 代码仓库 ↗ | |
| 10 | Surogate Rune 26B-A4B v3
Surogate · Decision Index · Vision |
53.1 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 11 | JPT-9B
社区 · Decision Index · Vision |
53.0 | public | 图像 | HF · 9B ↗ Hugging Face 权重 ↗ | |
| 12 | Winnow 12B
EldanRing · Decision Index · Vision |
50.9 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 13 | RSI-Jev v5.0 VL 3B
社区 · Decision Index · Vision |
47.6 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 14 | Xor 1.2 / Xor 26B-A4B
Juspay Technologies · Decision Index · Vision |
47.3 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 15 | RSI-Jev v5.0 VL 3B
社区 · Decision Index · Vision |
46.7 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 16 | JPT-4B
社区 · Decision Index · Vision |
43.3 | private | 图像 | HF · 9B ↗ Hugging Face 权重 ↗ | |
| 17 | Intern-Decision-2B
Intern Large Model · Decision Index · Vision |
43.1 | public | 图像 | Hugging Face 权重 ↗ 代码仓库 ↗ | |
| 18 | OneJev 0.8B
OmniJev · Decision Index · Vision |
39.4 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 19 | JPT-0.8B
社区 · Decision Index · Vision |
38.7 | private | 图像 | HF · 9B ↗ Hugging Face 权重 ↗ | |
| 20 | JPT-9B
社区 · Decision Index · Vision |
38.0 | private | 图像 | HF · 9B ↗ Hugging Face 权重 ↗ | |
| 21 | razorback16 diffgemma
· Decision Index · Vision |
36.9 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 22 | Intern-Decision-4B
Intern Large Model · Decision Index · Vision |
36.0 | private | 图像 | Hugging Face 权重 ↗ 代码仓库 ↗ | |
| 23 | Winnow-E4B
EldanRing · Decision Index · Vision |
34.9 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 24 | JPT-0.8B
社区 · Decision Index · Vision |
33.3 | public | 图像 | HF · 9B ↗ Hugging Face 权重 ↗ | |
| 25 | djev (26B-A4B)
· Decision Index · Vision |
27.2 | public | 图像 | Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗ | |
| 26 | Intern-Decision-2B
Intern Large Model · Decision Index · Vision |
26.0 | private | 图像 | Hugging Face 权重 ↗ 代码仓库 ↗ | |
| 27 | Intern-Decision-0.8B
Intern Large Model · Decision Index · Vision |
25.4 | public | 图像 | Hugging Face 权重 ↗ 代码仓库 ↗ | |
| 28 | mmastrac diffgemma
· Decision Index · Vision |
25.1 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 29 | Winnow 12B
EldanRing · Decision Index · Vision |
22.0 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 30 | Intern-Decision-0.8B
Intern Large Model · Decision Index · Vision |
20.0 | private | 图像 | Hugging Face 权重 ↗ 代码仓库 ↗ | |
| 31 | OneJev 0.8B
OmniJev · Decision Index · Vision |
15.3 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 32 | mmastrac diffgemma
· Decision Index · Vision |
10.7 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 33 | Winnow-E4B
EldanRing · Decision Index · Vision |
10.0 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 34 | djev (26B-A4B)
· Decision Index · Vision |
6.0 | private | 图像 | Hugging Face 权重 ↗ Decision Index Vision 子榜 ↗ | |
| 35 | Surogate Rune 26B-A4B v3
Surogate · Decision Index · Vision |
4.7 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 36 | NeoHorse Jev 4B
TokenRhythm · Decision Index · Vision |
-2.1 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 37 | razorback16 diffgemma
· Decision Index · Vision |
-2.7 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 38 | Jev-Omni (12B)
社区 · Decision Index · Vision |
-5.5 | public | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 39 | NeoHorse Jev 4B
TokenRhythm · Decision Index · Vision |
-33.3 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ | |
| 40 | Jev-Omni (12B)
社区 · Decision Index · Vision |
-33.3 | private | 图像 | Hugging Face 权重 ↗ Decision Index 排行榜 ↗ |