decision.host
首页 / 模型 / JEV-27B

JEV-27B

AutoTrust AI Lab ChoiceNoulScore 开源权重 27B（活跃 26B） 手工收录S1MB
Hugging Face 权重S1MB 排行榜
S1MB Task Avg
63.5
第 5 名 · 覆盖 137/137（100%）
Decision Index Full
55.6
第 14 名 · public 53.6
校准 ECE
0.076
越低越好 · Brier 0.383

模型信息

厂商
AutoTrust AI Lab
类别
开源权重
参数规模
27B（活跃 26B）
权重
可下载（开源）
许可证
未标注 许可不明
输入模态
文本
决策原语
ChoiceNoulScore
可微调
未确认

数据来源与链接

Hugging Face 权重S1MB 排行榜
本站聚合自： 手工收录、S1MB。 分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理
65.2
语言理解
79.0
检索与分类
68.1
工具与自动化
93.6
艺术与人类品味
59.3

S1MB · 137 个基准

基准类型该模型全场最佳 全场均值对比来源
open jev / browser control v1 Choice 100.0 100.0 72.2 来源 ↗
open jev / customer control v1 Noul 100.0 100.0 62.2 来源 ↗
open jev / drone control v1 Noul 100.0 100.0 58.5 来源 ↗
open jev / mailroom control v1 Choice 100.0 100.0 86.3 来源 ↗
open jev / painting geometry v1 Choice 100.0 100.0 52.6 来源 ↗
open jev / painting geometry v1 Noul 100.0 100.0 34.6 来源 ↗
open jev / phone extraction control v1 Noul 100.0 100.0 56.8 来源 ↗
open jev / snake v1 Noul 100.0 100.0 13.2 来源 ↗
open jev / vizdoom basic v1 Noul 100.0 100.0 45.8 来源 ↗
open jev / workflow controls v1 / agent trace observability Noul 100.0 100.0 33.3 来源 ↗
open jev / workflow controls v1 / customer service Noul 100.0 100.0 48.8 来源 ↗
open jev / workflow controls v1 / invoice processing Noul 100.0 100.0 40.7 来源 ↗
open jev / workflow controls v1 / security incidents Noul 100.0 100.0 43.2 来源 ↗
s1mb generalization contextual choice Choice 100.0 100.0 85.8 来源 ↗
open jev / painting geometry v1 Score 99.8 100.0 21.3 来源 ↗
dbpedia Choice 98.9 98.9 85.8 来源 ↗
s1mb generalization diverse choice Choice 98.7 100.0 74.0 来源 ↗
arc Choice 98.5 98.5 69.3 来源 ↗
open jev / citation control v1 Choice 98.5 100.0 48.5 来源 ↗
bbq Choice 98.3 98.3 60.0 来源 ↗
open jev / context retention control v1 Noul 98.0 100.0 26.7 来源 ↗
s1mb generalization diverse noul Noul 98.0 100.0 65.8 来源 ↗
argument quality Choice 95.9 95.9 45.0 来源 ↗
open jev / reasoning control v1 Choice 95.0 100.0 34.7 来源 ↗
open jev / vizdoom basic v1 Score 94.9 100.0 35.1 来源 ↗
open jev / email selection control v1 Choice 94.8 100.0 30.4 来源 ↗
open jev / entity alignment control v1 Noul 94.4 100.0 43.7 来源 ↗
openbookqa Choice 94.4 97.2 58.7 来源 ↗
open jev / silent failure control v1 Noul 94.0 100.0 43.1 来源 ↗
s1mb generalization contextual noul Noul 94.0 98.0 67.8 来源 ↗
scone Choice 94.0 94.0 40.7 来源 ↗
open jev / ir control v1 Score 93.8 99.2 15.5 来源 ↗
open jev / reasoning control v1 Noul 93.8 100.0 28.9 来源 ↗
s1mb generalization diverse score Score 93.2 96.3 46.8 来源 ↗
open jev / ir control v1 Noul 92.9 100.0 54.2 来源 ↗
open jev / mailroom control v1 Noul 92.8 100.0 68.0 来源 ↗
open jev / sponsor segment control v1 Choice 92.3 100.0 60.1 来源 ↗
s1mb generalization contextual score Score 90.2 97.3 46.7 来源 ↗
creak Noul 90.0 90.0 42.8 来源 ↗
hatecheck Noul 90.0 98.0 51.7 来源 ↗
sdoh nli Noul 90.0 94.0 64.7 来源 ↗
open jev / reasoning control v1 Score 90.0 95.1 31.7 来源 ↗
open jev / email selection control v1 Noul 88.5 100.0 48.5 来源 ↗
clinc Choice 88.3 99.3 65.4 来源 ↗
laya / enron spam Noul 88.0 100.0 60.4 来源 ↗
open jev / ir control v1 Choice 88.0 88.0 50.8 来源 ↗
massive Choice 87.9 96.7 69.3 来源 ↗
hwu64 Choice 87.2 93.6 62.9 来源 ↗
miqa Choice 86.4 95.5 66.9 来源 ↗
lonli Choice 85.3 96.7 45.7 来源 ↗
open jev / snake v1 Choice 83.5 83.5 12.6 来源 ↗
mtop Choice 83.4 88.6 63.3 来源 ↗
quartz Choice 83.3 90.5 54.4 来源 ↗
open jev / customer control v1 Choice 82.6 82.6 68.4 来源 ↗
open jev / amount extraction control v1 Noul 81.3 100.0 37.9 来源 ↗
laya / ag news Choice 80.6 94.0 75.3 来源 ↗
open jev / amount extraction control v1 Choice 80.4 100.0 58.6 来源 ↗
gretel pii Choice 80.2 94.5 47.8 来源 ↗
impli Noul 80.0 88.0 51.5 来源 ↗
qasper Noul 78.0 88.0 46.9 来源 ↗
few nerd Choice 75.3 86.4 48.5 来源 ↗
babi nli Noul 74.0 92.0 42.1 来源 ↗
hans Noul 74.0 100.0 47.1 来源 ↗
winobias Choice 73.9 93.5 35.7 来源 ↗
gsm8k Choice 72.9 82.9 30.0 来源 ↗
banking77 Choice 71.6 93.7 60.0 来源 ↗
scitail Noul 70.0 98.0 57.0 来源 ↗
ruletaker Noul 68.0 100.0 31.9 来源 ↗
synthetic relevance / nanobeir / nanonq Noul 67.9 71.2 44.1 来源 ↗
snli Choice 67.7 98.4 52.9 来源 ↗
defeasible nli Choice 67.4 87.0 37.3 来源 ↗
open jev / entity alignment control v1 Score 67.0 100.0 12.1 来源 ↗
open jev / customer control v1 Score 65.2 99.3 39.9 来源 ↗
synthetic relevance / nanocoir Noul 64.6 73.0 38.3 来源 ↗
scicite Choice 64.5 71.0 45.8 来源 ↗
ethos Noul 64.0 76.0 46.8 来源 ↗
arct Choice 63.8 89.4 43.2 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Noul 63.4 77.7 31.7 来源 ↗
crows pairs Choice 62.5 70.8 33.6 来源 ↗
paws Noul 62.0 90.0 48.5 来源 ↗
contract nli Choice 60.5 80.3 37.3 来源 ↗
ethics Noul 58.9 75.6 28.0 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Noul 58.9 63.0 41.5 来源 ↗
open jev / phone extraction control v1 Choice 58.7 100.0 38.6 来源 ↗
followir robust04 Noul 58.2 90.9 51.1 来源 ↗
canttalk Noul 56.0 92.0 47.9 来源 ↗
cladder Noul 56.0 94.0 22.1 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Noul 55.2 58.0 32.0 来源 ↗
aegis2 Noul 55.0 64.9 36.3 来源 ↗
open jev / tic tac toe v1 Choice 54.5 54.5 4.0 来源 ↗
go emotions Noul 51.6 63.4 40.4 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Score 50.3 63.6 16.0 来源 ↗
boardgameqa Choice 50.0 75.0 19.2 来源 ↗
ethics Choice 50.0 83.3 24.0 来源 ↗
synthetic relevance / nanobeir / nanoarguana Noul 49.3 53.5 18.8 来源 ↗
winowhy Noul 48.0 64.0 21.3 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Noul 46.6 47.0 29.3 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Score 46.1 54.9 20.9 来源 ↗
lexcomp Noul 46.0 60.0 24.5 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Noul 45.9 52.1 32.1 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Noul 44.7 49.7 28.0 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Score 44.5 45.0 20.1 来源 ↗
patent similarity Score 44.1 48.3 20.3 来源 ↗
aqua rat Choice 43.7 77.5 14.0 来源 ↗
ud ewt Choice 43.6 64.1 15.3 来源 ↗
robust lr Choice 41.7 66.7 22.8 来源 ↗
synthetic relevance / nanobeir / nanonq Score 41.5 49.4 10.6 来源 ↗
laya / typed decisions Score 40.9 76.0 31.9 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Score 40.0 46.7 17.4 来源 ↗
open jev / drone control v1 Choice 38.6 100.0 9.2 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Score 37.9 47.5 22.9 来源 ↗
laya / typed decisions Noul 37.7 49.2 27.3 来源 ↗
stepgame Choice 36.9 82.1 20.5 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Score 35.5 38.6 12.8 来源 ↗
civil comments Noul 34.9 39.8 23.0 来源 ↗
temporal nli Choice 33.9 83.9 20.9 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Noul 33.4 46.6 20.2 来源 ↗
synthetic relevance / nanobeir / nanoarguana Score 33.1 43.1 8.7 来源 ↗
sgd Choice 30.5 96.6 26.1 来源 ↗
logical entailment Noul 30.0 72.0 13.4 来源 ↗
fol nli Choice 27.9 68.8 12.6 来源 ↗
laya / typed decisions Choice 27.6 34.5 21.4 来源 ↗
esci Choice 24.7 46.6 14.8 来源 ↗
spartqa Choice 24.2 91.9 6.8 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Score 23.6 36.7 8.3 来源 ↗
followir core17 Noul 23.2 46.6 23.5 来源 ↗
synthetic relevance / nanocoir Score 23.1 44.3 5.0 来源 ↗
wiqa Choice 22.2 60.3 21.0 来源 ↗
argument quality Noul 19.4 26.9 6.4 来源 ↗
hh rlhf Choice 15.4 33.3 3.3 来源 ↗
followir news21 Noul 14.7 48.0 17.3 来源 ↗
tracie Noul 10.0 58.0 10.0 来源 ↗
plane Noul 6.0 100.0 11.3 来源 ↗
corr2cause Choice 0.0 91.7 4.3 来源 ↗
nlsat Noul 0.0 22.0 2.8 来源 ↗
open jev / drone control v1 Score 0.0 99.2 3.8 来源 ↗
poem sentiment Choice 0.0 68.6 5.3 来源 ↗

Decision Index · 42 个基准

基准类型该模型全场最佳 全场均值对比来源
ARC-Easy 混合（Choice 99.0 99.5 87.4 来源 ↗
ARC-Challenge 混合（Choice 96.7 98.2 79.3 来源 ↗
BFCL 混合（Choice 96.0 98.8 80.4 来源 ↗
BPoMP 混合（Choice 92.6 97.0 73.5 来源 ↗
HellaSwag 混合（Choice 92.5 98.5 73.1 来源 ↗
CLINC150 混合（Choice 84.6 97.4 68.4 来源 ↗
NLI4CT 混合（Choice 84.3 86.2 69.3 来源 ↗
MMLU 混合（Choice 83.5 91.9 64.2 来源 ↗
FinEntity 混合（Choice 83.3 97.1 74.0 来源 ↗
API-Bank 混合（Choice 82.9 93.1 56.5 来源 ↗
WinoGrande 混合（Choice 82.6 97.5 69.8 来源 ↗
RAGTruth 混合（Choice 80.9 86.0 52.0 来源 ↗
RouterBench 混合（Choice 79.9 80.1 73.3 来源 ↗
BBH 混合（Choice 78.9 92.9 58.4 来源 ↗
When2Call 混合（Choice 78.5 91.7 58.1 来源 ↗
ANLI 混合（Choice 77.2 98.6 53.9 来源 ↗
ContractNLI 混合（Choice 75.0 86.5 60.5 来源 ↗
BANKING77 混合（Choice 74.2 94.1 69.3 来源 ↗
HoVer 混合（Choice 73.9 89.4 63.9 来源 ↗
CRUXEval 混合（Choice 73.7 87.9 50.5 来源 ↗
CLadder 混合（Choice 70.5 97.7 62.5 来源 ↗
New Yorker 混合（Choice 68.6 82.0 53.0 来源 ↗
ToolRet 混合（Choice 65.7 70.6 55.1 来源 ↗
cfcolor 混合（Choice 63.0 70.2 57.8 来源 ↗
MuSR 混合（Choice 62.4 86.2 55.8 来源 ↗
PhishNChips 混合（Choice 61.9 99.9 61.8 来源 ↗
GSM8K 混合（Choice 61.6 83.5 35.9 来源 ↗
MMLU-Pro 混合（Choice 61.5 82.7 42.1 来源 ↗
SGD 混合（Choice 61.2 73.4 48.0 来源 ↗
Humicroedit 混合（Choice 61.1 75.1 57.2 来源 ↗
VAST 混合（Choice 54.8 82.0 50.4 来源 ↗
Amazon ESCI 混合（Choice 54.6 61.6 40.8 来源 ↗
Home appliances 混合（Choice 52.3 98.9 23.3 来源 ↗
BRIGHT 混合（Choice 48.4 50.9 36.0 来源 ↗
GPQA Diamond 混合（Choice 44.9 78.3 37.5 来源 ↗
iSarcasmEval 混合（Choice 42.0 71.0 38.4 来源 ↗
Habermas 混合（Choice 40.4 71.8 42.4 来源 ↗
POP909 混合（Choice 40.3 76.3 13.2 来源 ↗
SATA-Bench 混合（Choice 33.6 37.2 20.3 来源 ↗
ACOS 混合（Choice 19.5 57.3 14.5 来源 ↗
ChessBench 混合（Choice 16.5 40.2 14.2 来源 ↗
HLE 混合（Choice 7.0 20.4 12.3 来源 ↗

同族条目（3）

型号参数Decision Index S1MBVision榜单
JEV-27B 当前 27B（活跃 26B） 55.6 63.5 — s1mb, di
GEV-26B-Decide 28B（活跃 25B） 56.2 55.0 — s1mb, di
GEV-26B-Decide 28B（活跃 25B） 56.2 55.0 — s1mb, di