decision.host
首页 / 模型 / AutoTrust-JEV-27B v1.1

AutoTrust-JEV-27B v1.1

AutoTrust AI Lab ChoiceNoulScore图像 开源权重 27B 手工收录Decision IndexS1MB
Hugging Face 权重Decision Index 排行榜S1MB 排行榜
Decision Index Full
68.0
第 13 名 · public 67.3
Vision Full
71.9
第 5 名 · public 74.4
校准 ECE
0.067
越低越好 · Brier 0.308

模型信息

厂商
AutoTrust AI Lab
类别
开源权重
参数规模
27B
基座模型
Qwen/Qwen3.8-27B
权重
可下载（开源）
许可证
未标注 许可不明
输入模态
文本 图像
决策原语
ChoiceNoulScore
可微调
未确认
训练方式
full fine-tune

数据来源与链接

Hugging Face 权重Decision Index 排行榜S1MB 排行榜
本站聚合自： 手工收录、Decision Index、S1MB。 分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理
69.8
语言理解
90.3
检索与分类
73.0
工具与自动化
95.6
艺术与人类品味
66.7

Decision Index · 42 个基准

基准类型该模型全场最佳 全场均值对比来源
ARC-Easy 混合（Choice 99.3 99.5 89.5 来源 ↗
HellaSwag 混合（Choice 98.2 98.5 79.5 来源 ↗
BFCL 混合（Choice 97.2 98.8 86.6 来源 ↗
ARC-Challenge 混合（Choice 97.1 98.2 82.4 来源 ↗
CLINC150 混合（Choice 97.1 97.6 79.6 来源 ↗
BPoMP 混合（Choice 96.4 99.5 80.0 来源 ↗
WinoGrande 混合（Choice 95.3 97.5 75.9 来源 ↗
FinEntity 混合（Choice 94.5 97.1 81.3 来源 ↗
BANKING77 混合（Choice 93.7 94.2 78.1 来源 ↗
Home appliances 混合（Choice 89.8 100.0 43.9 来源 ↗
When2Call 混合（Choice 89.5 93.8 70.1 来源 ↗
HoVer 混合（Choice 89.2 90.8 73.2 来源 ↗
MMLU 混合（Choice 88.7 91.9 68.0 来源 ↗
API-Bank 混合（Choice 87.6 93.1 67.4 来源 ↗
NLI4CT 混合（Choice 87.5 88.3 72.9 来源 ↗
BBH 混合（Choice 86.2 96.2 64.7 来源 ↗
CRUXEval 混合（Choice 85.3 100.0 57.7 来源 ↗
GSM8K 混合（Choice 85.0 92.6 47.4 来源 ↗
RAGTruth 混合（Choice 83.8 86.2 64.5 来源 ↗
New Yorker 混合（Choice 83.0 88.3 60.8 来源 ↗
ContractNLI 混合（Choice 82.6 86.7 69.6 来源 ↗
CLadder 混合（Choice 81.0 97.7 70.3 来源 ↗
RouterBench 混合（Choice 79.8 80.1 74.4 来源 ↗
ANLI 混合（Choice 79.8 98.6 59.8 来源 ↗
VAST 混合（Choice 79.5 84.2 61.5 来源 ↗
MMLU-Pro 混合（Choice 73.6 82.1 47.7 来源 ↗
PhishNChips 混合（Choice 72.0 99.9 69.4 来源 ↗
MuSR 混合（Choice 70.5 92.0 59.8 来源 ↗
ToolRet 混合（Choice 68.7 75.7 59.9 来源 ↗
iSarcasmEval 混合（Choice 66.0 78.5 45.3 来源 ↗
cfcolor 混合（Choice 64.9 72.9 60.1 来源 ↗
Humicroedit 混合（Choice 63.0 75.1 59.7 来源 ↗
POP909 混合（Choice 62.7 86.1 29.7 来源 ↗
ACOS 混合（Choice 56.4 68.0 24.9 来源 ↗
GPQA Diamond 混合（Choice 54.6 75.5 40.1 来源 ↗
Amazon ESCI 混合（Choice 52.1 65.0 47.4 来源 ↗
BRIGHT 混合（Choice 49.2 51.5 38.8 来源 ↗
SGD 混合（Choice 46.5 85.8 45.5 来源 ↗
Habermas 混合（Choice 42.8 71.8 46.7 来源 ↗
SATA-Bench 混合（Choice 37.9 62.2 24.8 来源 ↗
ChessBench 混合（Choice 21.1 40.2 16.4 来源 ↗
HLE 混合（Choice 17.0 20.0 12.8 来源 ↗

Decision Index · Vision · 20 个基准

基准类型该模型全场最佳 全场均值对比来源
InfographicVQA 图像 100.0 100.0 86.4 来源 ↗
InfographicVQA 图像 98.9 100.0 86.4 来源 ↗
Winoground 图像 95.0 95.0 77.7 来源 ↗
KIE (CORD+FUNSD) 图像 92.6 97.5 84.7 来源 ↗
KIE (CORD+FUNSD) 图像 86.6 97.5 84.7 来源 ↗
Winoground 图像 86.5 95.0 77.7 来源 ↗
Mind2Web 图像 84.5 94.4 62.8 来源 ↗
CharXiv 图像 80.2 83.7 58.4 来源 ↗
CV-Bench 图像 77.3 82.3 54.6 来源 ↗
CharXiv 图像 75.5 83.7 58.4 来源 ↗
RealWorldQA 图像 70.9 76.1 46.6 来源 ↗
BLINK 图像 68.0 79.4 43.9 来源 ↗
Mind2Web 图像 63.3 94.4 62.8 来源 ↗
BLINK 图像 59.2 79.4 43.9 来源 ↗
RealWorldQA 图像 48.7 76.1 46.6 来源 ↗
MMMU-Pro vision 图像 48.1 48.5 29.7 来源 ↗
CV-Bench 图像 46.1 82.3 54.6 来源 ↗
Moderation (Hateful Memes) 图像 44.1 71.0 31.4 来源 ↗
Moderation (Hateful Memes) 图像 41.0 71.0 31.4 来源 ↗
R-Bench-M 图像 39.0 56.1 24.9 来源 ↗

同族条目（4）

型号参数Decision Index S1MBVision榜单
AutoTrust-JEV-27B v1.1 当前 27B 68.0 — 71.9 di, di_vision
GEV-26B-Decide 28B（活跃 25B） 53.5 55.0 — s1mb, di
JEV-27B 27B（活跃 26B） 57.4 63.5 — s1mb, di
GEV-26B-Decide 28B（活跃 25B） 53.5 55.0 — s1mb, di