decision.host
首页 / 模型 / jevstral-8b

jevstral-8b

AmirBraham ChoiceNoulScore 8.0B（活跃 7.4B） Decision IndexS1MB
Hugging Face 权重Decision Index 排行榜S1MB 排行榜
S1MB Task Avg
35.3
第 79 名 · 覆盖 137/137（100%）
Decision Index Full
35.9
第 66 名 · public 34.0
校准 ECE
0.047
越低越好 · Brier 0.495

模型信息

厂商
AmirBraham
类别
开源权重
参数规模
8.0B（活跃 7.4B）
基座模型
mistralai/Ministral-3-8B-Base-2512
权重
闭源 / 未公开
许可证
未标注 许可不明
输入模态
文本
决策原语
ChoiceNoulScore
可微调
未确认
训练方式
LoRA
同族条目
Jevstral 8B

数据来源与链接

Hugging Face 权重Decision Index 排行榜S1MB 排行榜
本站聚合自： Decision Index、S1MB。 分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理
56.2
语言理解
69.0
检索与分类
70.5
工具与自动化
81.3
艺术与人类品味
41.0

S1MB · 137 个基准

基准类型该模型全场最佳 全场均值对比来源
open jev / browser control v1 Choice 100.0 100.0 72.2 来源 ↗
dbpedia Choice 98.9 98.9 85.8 来源 ↗
s1mb generalization contextual choice Choice 98.7 100.0 85.8 来源 ↗
open jev / drone control v1 Noul 94.1 100.0 58.5 来源 ↗
open jev / mailroom control v1 Choice 91.7 100.0 86.3 来源 ↗
s1mb generalization diverse choice Choice 89.4 100.0 74.0 来源 ↗
laya / ag news Choice 88.1 94.0 75.3 来源 ↗
open jev / ir control v1 Choice 88.0 88.0 50.8 来源 ↗
massive Choice 85.7 96.7 69.3 来源 ↗
arc Choice 85.3 98.5 69.3 来源 ↗
laya / enron spam Noul 84.0 100.0 60.4 来源 ↗
open jev / mailroom control v1 Noul 83.3 100.0 68.0 来源 ↗
open jev / customer control v1 Choice 82.6 82.6 68.4 来源 ↗
miqa Choice 81.8 95.5 66.9 来源 ↗
open jev / entity alignment control v1 Noul 80.6 100.0 43.7 来源 ↗
mtop Choice 80.0 88.6 63.3 来源 ↗
bbq Choice 80.0 98.3 60.0 来源 ↗
open jev / painting geometry v1 Choice 79.0 100.0 52.6 来源 ↗
banking77 Choice 77.9 93.7 60.0 来源 ↗
open jev / amount extraction control v1 Choice 76.5 100.0 58.6 来源 ↗
open jev / customer control v1 Noul 76.5 100.0 62.2 来源 ↗
quartz Choice 76.2 90.5 54.4 来源 ↗
qasper Noul 76.0 88.0 46.9 来源 ↗
hatecheck Noul 74.0 98.0 51.7 来源 ↗
s1mb generalization contextual noul Noul 74.0 98.0 67.8 来源 ↗
sdoh nli Noul 74.0 94.0 64.7 来源 ↗
followir robust04 Noul 74.0 90.9 51.1 来源 ↗
open jev / sponsor segment control v1 Choice 73.1 100.0 60.1 来源 ↗
clinc Choice 72.4 99.3 65.4 来源 ↗
hwu64 Choice 72.3 93.6 62.9 来源 ↗
canttalk Noul 72.0 92.0 47.9 来源 ↗
s1mb generalization diverse noul Noul 72.0 100.0 65.8 来源 ↗
impli Noul 68.0 88.0 51.5 来源 ↗
openbookqa Choice 66.7 97.2 58.7 来源 ↗
snli Choice 64.5 98.4 52.9 来源 ↗
lonli Choice 63.9 96.7 45.7 来源 ↗
open jev / workflow controls v1 / customer service Noul 62.8 100.0 48.8 来源 ↗
few nerd Choice 61.6 86.4 48.5 来源 ↗
creak Noul 60.0 90.0 42.8 来源 ↗
s1mb generalization contextual score Score 59.9 97.3 46.7 来源 ↗
aegis2 Noul 59.6 64.9 36.3 来源 ↗
gretel pii Choice 59.4 94.5 47.8 来源 ↗
open jev / context retention control v1 Noul 58.0 100.0 26.7 来源 ↗
arct Choice 57.5 89.4 43.2 来源 ↗
open jev / ir control v1 Noul 57.1 100.0 54.2 来源 ↗
defeasible nli Choice 54.4 87.0 37.3 来源 ↗
winobias Choice 54.4 93.5 35.7 来源 ↗
paws Noul 54.0 90.0 48.5 来源 ↗
open jev / workflow controls v1 / security incidents Noul 52.9 100.0 43.2 来源 ↗
open jev / reasoning control v1 Noul 52.2 100.0 28.9 来源 ↗
scicite Choice 50.0 71.0 45.8 来源 ↗
argument quality Choice 49.0 95.9 45.0 来源 ↗
ethos Noul 48.0 76.0 46.8 来源 ↗
synthetic relevance / nanocoir Noul 47.7 73.0 38.3 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Noul 47.6 77.7 31.7 来源 ↗
s1mb generalization diverse score Score 46.9 96.3 46.8 来源 ↗
open jev / email selection control v1 Noul 46.1 100.0 48.5 来源 ↗
go emotions Noul 46.0 63.4 40.4 来源 ↗
ethics Noul 46.0 75.6 28.0 来源 ↗
babi nli Noul 44.0 92.0 42.1 来源 ↗
open jev / citation control v1 Choice 42.4 100.0 48.5 来源 ↗
hans Noul 42.0 100.0 47.1 来源 ↗
open jev / workflow controls v1 / invoice processing Noul 41.2 100.0 40.7 来源 ↗
followir news21 Noul 40.0 48.0 17.3 来源 ↗
lexcomp Noul 40.0 60.0 24.5 来源 ↗
open jev / phone extraction control v1 Noul 40.0 100.0 56.8 来源 ↗
scitail Noul 40.0 98.0 57.0 来源 ↗
contract nli Choice 39.9 80.3 37.3 来源 ↗
open jev / amount extraction control v1 Noul 37.5 100.0 37.9 来源 ↗
open jev / customer control v1 Score 37.1 99.3 39.9 来源 ↗
synthetic relevance / nanobeir / nanonq Noul 37.1 71.2 44.1 来源 ↗
followir core17 Noul 37.0 46.6 23.5 来源 ↗
cladder Noul 36.0 94.0 22.1 来源 ↗
crows pairs Choice 35.4 70.8 33.6 来源 ↗
laya / typed decisions Noul 35.0 49.2 27.3 来源 ↗
gsm8k Choice 34.3 82.9 30.0 来源 ↗
open jev / workflow controls v1 / agent trace observability Noul 34.0 100.0 33.3 来源 ↗
scone Choice 34.0 94.0 40.7 来源 ↗
open jev / email selection control v1 Choice 32.2 100.0 30.4 来源 ↗
open jev / silent failure control v1 Noul 32.0 100.0 43.1 来源 ↗
ruletaker Noul 32.0 100.0 31.9 来源 ↗
wiqa Choice 31.8 60.3 21.0 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Noul 31.6 47.0 29.3 来源 ↗
open jev / phone extraction control v1 Choice 30.4 100.0 38.6 来源 ↗
laya / typed decisions Score 30.1 76.0 31.9 来源 ↗
open jev / reasoning control v1 Choice 30.0 100.0 34.7 来源 ↗
winowhy Noul 30.0 64.0 21.3 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Noul 29.8 63.0 41.5 来源 ↗
open jev / painting geometry v1 Noul 29.5 100.0 34.6 来源 ↗
open jev / reasoning control v1 Score 29.4 95.1 31.7 来源 ↗
civil comments Noul 27.8 39.8 23.0 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Noul 27.2 52.1 32.1 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Noul 27.1 58.0 32.0 来源 ↗
aqua rat Choice 26.8 77.5 14.0 来源 ↗
open jev / vizdoom basic v1 Score 26.7 100.0 35.1 来源 ↗
tracie Noul 26.0 58.0 10.0 来源 ↗
robust lr Choice 25.0 66.7 22.8 来源 ↗
laya / typed decisions Choice 24.3 34.5 21.4 来源 ↗
patent similarity Score 22.3 48.3 20.3 来源 ↗
sgd Choice 22.0 96.6 26.1 来源 ↗
boardgameqa Choice 21.9 75.0 19.2 来源 ↗
stepgame Choice 19.1 82.1 20.5 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Score 18.2 47.5 22.9 来源 ↗
open jev / snake v1 Noul 16.9 100.0 13.2 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Noul 16.7 46.6 20.2 来源 ↗
ethics Choice 16.7 83.3 24.0 来源 ↗
temporal nli Choice 16.1 83.9 20.9 来源 ↗
esci Choice 15.1 46.6 14.8 来源 ↗
ud ewt Choice 13.9 64.1 15.3 来源 ↗
open jev / snake v1 Choice 9.3 83.5 12.6 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Noul 9.1 49.7 28.0 来源 ↗
synthetic relevance / nanobeir / nanoarguana Noul 9.1 53.5 18.8 来源 ↗
logical entailment Noul 6.0 72.0 13.4 来源 ↗
argument quality Noul 4.7 26.9 6.4 来源 ↗
open jev / drone control v1 Choice 3.5 100.0 9.2 来源 ↗
open jev / tic tac toe v1 Choice 3.0 54.5 4.0 来源 ↗
nlsat Noul 2.0 22.0 2.8 来源 ↗
corr2cause Choice 1.7 91.7 4.3 来源 ↗
open jev / vizdoom basic v1 Noul 0.4 100.0 45.8 来源 ↗
fol nli Choice 0.0 68.8 12.6 来源 ↗
hh rlhf Choice 0.0 33.3 3.3 来源 ↗
open jev / drone control v1 Score 0.0 99.2 3.8 来源 ↗
open jev / entity alignment control v1 Score 0.0 100.0 12.1 来源 ↗
open jev / ir control v1 Score 0.0 99.2 15.5 来源 ↗
open jev / painting geometry v1 Score 0.0 100.0 21.3 来源 ↗
plane Noul 0.0 100.0 11.3 来源 ↗
poem sentiment Choice 0.0 68.6 5.3 来源 ↗
spartqa Choice 0.0 91.9 6.8 来源 ↗
synthetic relevance / nanobeir / nanoarguana Score 0.0 43.1 8.7 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Score 0.0 45.0 20.1 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Score 0.0 46.7 17.4 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Score 0.0 63.6 16.0 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Score 0.0 54.9 20.9 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Score 0.0 38.6 12.8 来源 ↗
synthetic relevance / nanobeir / nanonq Score 0.0 49.4 10.6 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Score 0.0 36.7 8.3 来源 ↗
synthetic relevance / nanocoir Score 0.0 44.3 5.0 来源 ↗

Decision Index · 42 个基准

基准类型该模型全场最佳 全场均值对比来源
ARC-Easy 混合（Choice 96.5 99.5 87.4 来源 ↗
BFCL 混合（Choice 91.4 98.8 80.4 来源 ↗
ARC-Challenge 混合（Choice 89.9 98.2 79.3 来源 ↗
BANKING77 混合（Choice 83.1 94.1 69.3 来源 ↗
RouterBench 混合（Choice 78.4 80.1 73.3 来源 ↗
FinEntity 混合（Choice 78.2 97.1 74.0 来源 ↗
CLINC150 混合（Choice 74.2 97.4 68.4 来源 ↗
HellaSwag 混合（Choice 74.1 98.5 73.1 来源 ↗
NLI4CT 混合（Choice 73.8 86.2 69.3 来源 ↗
WinoGrande 混合（Choice 71.1 97.5 69.8 来源 ↗
MMLU 混合（Choice 67.8 91.9 64.2 来源 ↗
CLadder 混合（Choice 64.7 97.7 62.5 来源 ↗
MuSR 混合（Choice 61.4 86.2 55.8 来源 ↗
API-Bank 混合（Choice 60.8 93.1 56.5 来源 ↗
ToolRet 混合（Choice 60.7 70.6 55.1 来源 ↗
SGD 混合（Choice 59.6 73.4 48.0 来源 ↗
ContractNLI 混合（Choice 59.3 86.5 60.5 来源 ↗
New Yorker 混合（Choice 57.2 82.0 53.0 来源 ↗
BBH 混合（Choice 57.1 92.9 58.4 来源 ↗
cfcolor 混合（Choice 55.3 70.2 57.8 来源 ↗
HoVer 混合（Choice 55.2 89.4 63.9 来源 ↗
BPoMP 混合（Choice 54.1 97.0 73.5 来源 ↗
Humicroedit 混合（Choice 52.9 75.1 57.2 来源 ↗
When2Call 混合（Choice 52.0 91.7 58.1 来源 ↗
PhishNChips 混合（Choice 51.6 99.9 61.8 来源 ↗
ANLI 混合（Choice 50.0 98.6 53.9 来源 ↗
MMLU-Pro 混合（Choice 47.9 82.7 42.1 来源 ↗
VAST 混合（Choice 43.7 82.0 50.4 来源 ↗
iSarcasmEval 混合（Choice 43.3 71.0 38.4 来源 ↗
GSM8K 混合（Choice 42.2 83.5 35.9 来源 ↗
CRUXEval 混合（Choice 42.1 87.9 50.5 来源 ↗
BRIGHT 混合（Choice 38.3 50.9 36.0 来源 ↗
Habermas 混合（Choice 37.8 71.8 42.4 来源 ↗
GPQA Diamond 混合（Choice 37.8 78.3 37.5 来源 ↗
Amazon ESCI 混合（Choice 36.8 61.6 40.8 来源 ↗
SATA-Bench 混合（Choice 23.9 37.2 20.3 来源 ↗
Home appliances 混合（Choice 17.1 98.9 23.3 来源 ↗
RAGTruth 混合（Choice 13.4 86.0 52.0 来源 ↗
HLE 混合（Choice 11.8 20.4 12.3 来源 ↗
ACOS 混合（Choice 9.8 57.3 14.5 来源 ↗
ChessBench 混合（Choice 8.5 40.2 14.2 来源 ↗
POP909 混合（Choice 5.2 76.3 13.2 来源 ↗