首页 / 模型 / Jev-Style-2B-Decision-v3

Jev-Style-2B-Decision-v3

Name: Jev-Style-2B-Decision-v3
Author: chaoliangUNSW

chaoliangUNSW ChoiceNoulScore 1.9B（活跃 1.4B） Decision IndexS1MB

Hugging Face 权重 Decision Index 排行榜 S1MB 排行榜

S1MB Task Avg

34.8

第 80 名 · 覆盖 137/137（100%）

Decision Index Full

31.4

第 73 名 · public 34.0

校准 ECE

0.118

越低越好 · Brier 0.528

模型信息

厂商: chaoliangUNSW
类别: 开源权重
参数规模: 1.9B（活跃 1.4B）
基座模型: Qwen/Qwen3.5-2B
权重: 闭源 / 未公开
许可证: 未标注许可不明
输入模态: 文本
决策原语: ChoiceNoulScore
可微调: 未确认
训练方式: full fine-tune
同族条目: Jev-Style 2B v3

数据来源与链接

Hugging Face 权重 Decision Index 排行榜 S1MB 排行榜

本站聚合自： Decision Index、S1MB。分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理

55.5

语言理解

68.9

检索与分类

60.0

工具与自动化

83.1

艺术与人类品味

44.5

S1MB · 137 个基准

基准	类型	该模型	全场最佳	全场均值	来源
open jev / mailroom control v1	Choice	100.0	100.0	86.3	来源 ↗
s1mb generalization contextual choice	Choice	96.1	100.0	85.8	来源 ↗
clinc	Choice	95.9	99.3	65.4	来源 ↗
dbpedia	Choice	93.3	98.9	85.8	来源 ↗
massive	Choice	90.7	96.7	69.3	来源 ↗
hwu64	Choice	88.3	93.6	62.9	来源 ↗
open jev / customer control v1	Noul	88.2	100.0	62.2	来源 ↗
open jev / drone control v1	Noul	88.2	100.0	58.5	来源 ↗
open jev / mailroom control v1	Noul	87.5	100.0	68.0	来源 ↗
open jev / ir control v1	Noul	85.7	100.0	54.2	来源 ↗
miqa	Choice	84.1	95.5	66.9	来源 ↗
laya / ag news	Choice	83.6	94.0	75.3	来源 ↗
s1mb generalization diverse choice	Choice	82.8	100.0	74.0	来源 ↗
open jev / customer control v1	Choice	82.6	82.6	68.4	来源 ↗
banking77	Choice	80.0	93.7	60.0	来源 ↗
s1mb generalization diverse noul	Noul	80.0	100.0	65.8	来源 ↗
sdoh nli	Noul	80.0	94.0	64.7	来源 ↗
open jev / sponsor segment control v1	Choice	78.2	100.0	60.1	来源 ↗
open jev / silent failure control v1	Noul	78.0	100.0	43.1	来源 ↗
arc	Choice	77.9	98.5	69.3	来源 ↗
s1mb generalization contextual noul	Noul	76.0	98.0	67.8	来源 ↗
snli	Choice	74.2	98.4	52.9	来源 ↗
open jev / amount extraction control v1	Choice	72.5	100.0	58.6	来源 ↗
mtop	Choice	72.0	88.6	63.3	来源 ↗
sgd	Choice	71.2	96.6	26.1	来源 ↗
open jev / phone extraction control v1	Noul	70.0	100.0	56.8	来源 ↗
open jev / citation control v1	Choice	68.2	100.0	48.5	来源 ↗
open jev / workflow controls v1 / invoice processing	Noul	66.7	100.0	40.7	来源 ↗
openbookqa	Choice	65.3	97.2	58.7	来源 ↗
laya / enron spam	Noul	60.0	100.0	60.4	来源 ↗
open jev / ir control v1	Choice	60.0	88.0	50.8	来源 ↗
quartz	Choice	59.5	90.5	54.4	来源 ↗
bbq	Choice	58.3	98.3	60.0	来源 ↗
hans	Noul	58.0	100.0	47.1	来源 ↗
impli	Noul	58.0	88.0	51.5	来源 ↗
scitail	Noul	58.0	98.0	57.0	来源 ↗
synthetic relevance / nanobeir / nanonq	Noul	56.0	71.2	44.1	来源 ↗
few nerd	Choice	55.2	86.4	48.5	来源 ↗
gretel pii	Choice	54.9	94.5	47.8	来源 ↗
s1mb generalization contextual score	Score	54.9	97.3	46.7	来源 ↗
canttalk	Noul	54.0	92.0	47.9	来源 ↗
open jev / workflow controls v1 / customer service	Noul	53.1	100.0	48.8	来源 ↗
contract nli	Choice	52.4	80.3	37.3	来源 ↗
followir robust04	Noul	52.4	90.9	51.1	来源 ↗
arct	Choice	51.1	89.4	43.2	来源 ↗
lonli	Choice	50.8	96.7	45.7	来源 ↗
babi nli	Noul	50.0	92.0	42.1	来源 ↗
paws	Noul	50.0	90.0	48.5	来源 ↗
synthetic relevance / nanobeir / nanomsmarco	Noul	49.5	63.0	41.5	来源 ↗
open jev / workflow controls v1 / security incidents	Noul	49.4	100.0	43.2	来源 ↗
scicite	Choice	48.4	71.0	45.8	来源 ↗
open jev / customer control v1	Score	47.5	99.3	39.9	来源 ↗
crows pairs	Choice	45.8	70.8	33.6	来源 ↗
open jev / reasoning control v1	Choice	45.0	100.0	34.7	来源 ↗
gsm8k	Choice	44.3	82.9	30.0	来源 ↗
qasper	Noul	44.0	88.0	46.9	来源 ↗
open jev / browser control v1	Choice	43.5	100.0	72.2	来源 ↗
s1mb generalization diverse score	Score	42.5	96.3	46.8	来源 ↗
synthetic relevance / nanocoir	Noul	42.3	73.0	38.3	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018	Noul	41.5	58.0	32.0	来源 ↗
open jev / amount extraction control v1	Noul	40.6	100.0	37.9	来源 ↗
open jev / reasoning control v1	Noul	40.4	100.0	28.9	来源 ↗
ethos	Noul	40.0	76.0	46.8	来源 ↗
open jev / email selection control v1	Noul	38.5	100.0	48.5	来源 ↗
laya / typed decisions	Score	37.5	76.0	31.9	来源 ↗
laya / typed decisions	Noul	36.6	49.2	27.3	来源 ↗
synthetic relevance / nanobeir / nanodbpedia	Noul	36.2	52.1	32.1	来源 ↗
hatecheck	Noul	36.0	98.0	51.7	来源 ↗
ruletaker	Noul	36.0	100.0	31.9	来源 ↗
go emotions	Noul	35.8	63.4	40.4	来源 ↗
synthetic relevance / nanobeir / nanotouche2020	Noul	35.7	47.0	29.3	来源 ↗
synthetic relevance / nanobeir / nanotouche2020	Score	35.3	47.5	22.9	来源 ↗
aegis2	Noul	34.5	64.9	36.3	来源 ↗
ethics	Choice	33.3	83.3	24.0	来源 ↗
defeasible nli	Choice	32.6	87.0	37.3	来源 ↗
open jev / phone extraction control v1	Choice	32.6	100.0	38.6	来源 ↗
robust lr	Choice	31.7	66.7	22.8	来源 ↗
followir news21	Noul	30.7	48.0	17.3	来源 ↗
patent similarity	Score	30.1	48.3	20.3	来源 ↗
synthetic relevance / nanobeir / nanomsmarco	Score	29.6	54.9	20.9	来源 ↗
synthetic relevance / nanobeir / nanodbpedia	Score	29.5	45.0	20.1	来源 ↗
temporal nli	Choice	29.0	83.9	20.9	来源 ↗
followir core17	Noul	28.9	46.6	23.5	来源 ↗
open jev / painting geometry v1	Noul	28.6	100.0	34.6	来源 ↗
winobias	Choice	28.3	93.5	35.7	来源 ↗
boardgameqa	Choice	28.1	75.0	19.2	来源 ↗
scone	Choice	28.0	94.0	40.7	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus	Noul	28.0	49.7	28.0	来源 ↗
open jev / workflow controls v1 / agent trace observability	Noul	27.5	100.0	33.3	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa	Noul	26.9	77.7	31.7	来源 ↗
laya / typed decisions	Choice	26.9	34.5	21.4	来源 ↗
argument quality	Choice	26.5	95.9	45.0	来源 ↗
wiqa	Choice	25.4	60.3	21.0	来源 ↗
synthetic relevance / nanobeir / nanoarguana	Noul	24.7	53.5	18.8	来源 ↗
open jev / reasoning control v1	Score	24.2	95.1	31.7	来源 ↗
lexcomp	Noul	24.0	60.0	24.5	来源 ↗
stepgame	Choice	23.8	82.1	20.5	来源 ↗
cladder	Noul	20.0	94.0	22.1	来源 ↗
synthetic relevance / nanobeir / nanoscidocs	Noul	19.8	46.6	20.2	来源 ↗
civil comments	Noul	19.3	39.8	23.0	来源 ↗
logical entailment	Noul	18.0	72.0	13.4	来源 ↗
open jev / drone control v1	Choice	16.7	100.0	9.2	来源 ↗
open jev / painting geometry v1	Choice	15.8	100.0	52.6	来源 ↗
ethics	Noul	15.0	75.6	28.0	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus	Score	14.3	38.6	12.8	来源 ↗
synthetic relevance / nanobeir / nanoscidocs	Score	14.1	36.7	8.3	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018	Score	13.7	46.7	17.4	来源 ↗
creak	Noul	12.0	90.0	42.8	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa	Score	10.9	63.6	16.0	来源 ↗
argument quality	Noul	10.5	26.9	6.4	来源 ↗
plane	Noul	10.0	100.0	11.3	来源 ↗
esci	Choice	9.6	46.6	14.8	来源 ↗
winowhy	Noul	8.0	64.0	21.3	来源 ↗
open jev / entity alignment control v1	Noul	6.4	100.0	43.7	来源 ↗
open jev / context retention control v1	Noul	6.0	100.0	26.7	来源 ↗
tracie	Noul	4.0	58.0	10.0	来源 ↗
open jev / tic tac toe v1	Choice	3.8	54.5	4.0	来源 ↗
open jev / snake v1	Noul	2.7	100.0	13.2	来源 ↗
nlsat	Noul	2.0	22.0	2.8	来源 ↗
open jev / ir control v1	Score	1.6	99.2	15.5	来源 ↗
ud ewt	Choice	0.6	64.1	15.3	来源 ↗
aqua rat	Choice	0.0	77.5	14.0	来源 ↗
corr2cause	Choice	0.0	91.7	4.3	来源 ↗
fol nli	Choice	0.0	68.8	12.6	来源 ↗
hh rlhf	Choice	0.0	33.3	3.3	来源 ↗
open jev / drone control v1	Score	0.0	99.2	3.8	来源 ↗
open jev / email selection control v1	Choice	0.0	100.0	30.4	来源 ↗
open jev / entity alignment control v1	Score	0.0	100.0	12.1	来源 ↗
open jev / painting geometry v1	Score	0.0	100.0	21.3	来源 ↗
open jev / snake v1	Choice	0.0	83.5	12.6	来源 ↗
open jev / vizdoom basic v1	Noul	0.0	100.0	45.8	来源 ↗
open jev / vizdoom basic v1	Score	0.0	100.0	35.1	来源 ↗
poem sentiment	Choice	0.0	68.6	5.3	来源 ↗
spartqa	Choice	0.0	91.9	6.8	来源 ↗
synthetic relevance / nanobeir / nanoarguana	Score	0.0	43.1	8.7	来源 ↗
synthetic relevance / nanobeir / nanonq	Score	0.0	49.4	10.6	来源 ↗
synthetic relevance / nanocoir	Score	0.0	44.3	5.0	来源 ↗

Decision Index · 42 个基准

基准	类型	该模型	全场最佳	全场均值	来源
ARC-Easy	混合（Choice	94.0	99.5	87.4	来源 ↗
CLINC150	混合（Choice	92.3	97.4	68.4	来源 ↗
BFCL	混合（Choice	87.7	98.8	80.4	来源 ↗
ARC-Challenge	混合（Choice	83.6	98.2	79.3	来源 ↗
PhishNChips	混合（Choice	81.5	99.9	61.8	来源 ↗
BANKING77	混合（Choice	80.4	94.1	69.3	来源 ↗
FinEntity	混合（Choice	80.1	97.1	74.0	来源 ↗
HellaSwag	混合（Choice	79.3	98.5	73.1	来源 ↗
RouterBench	混合（Choice	78.9	80.1	73.3	来源 ↗
API-Bank	混合（Choice	68.1	93.1	56.5	来源 ↗
NLI4CT	混合（Choice	67.2	86.2	69.3	来源 ↗
BPoMP	混合（Choice	63.9	97.0	73.5	来源 ↗
CLadder	混合（Choice	61.8	97.7	62.5	来源 ↗
WinoGrande	混合（Choice	60.8	97.5	69.8	来源 ↗
HoVer	混合（Choice	60.4	89.4	63.9	来源 ↗
MuSR	混合（Choice	60.2	86.2	55.8	来源 ↗
cfcolor	混合（Choice	59.9	70.2	57.8	来源 ↗
Humicroedit	混合（Choice	59.4	75.1	57.2	来源 ↗
MMLU	混合（Choice	59.3	91.9	64.2	来源 ↗
ContractNLI	混合（Choice	59.1	86.5	60.5	来源 ↗
ToolRet	混合（Choice	58.7	70.6	55.1	来源 ↗
BBH	混合（Choice	57.4	92.9	58.4	来源 ↗
New Yorker	混合（Choice	52.8	82.0	53.0	来源 ↗
When2Call	混合（Choice	50.0	91.7	58.1	来源 ↗
VAST	混合（Choice	47.6	82.0	50.4	来源 ↗
ANLI	混合（Choice	44.7	98.6	53.9	来源 ↗
Habermas	混合（Choice	38.0	71.8	42.4	来源 ↗
BRIGHT	混合（Choice	35.0	50.9	36.0	来源 ↗
Amazon ESCI	混合（Choice	34.8	61.6	40.8	来源 ↗
MMLU-Pro	混合（Choice	31.7	82.7	42.1	来源 ↗
CRUXEval	混合（Choice	30.2	87.9	50.5	来源 ↗
GPQA Diamond	混合（Choice	30.1	78.3	37.5	来源 ↗
GSM8K	混合（Choice	25.7	83.5	35.9	来源 ↗
SATA-Bench	混合（Choice	20.7	37.2	20.3	来源 ↗
Home appliances	混合（Choice	18.2	98.9	23.3	来源 ↗
RAGTruth	混合（Choice	17.9	86.0	52.0	来源 ↗
iSarcasmEval	混合（Choice	17.7	71.0	38.4	来源 ↗
ChessBench	混合（Choice	15.3	40.2	14.2	来源 ↗
HLE	混合（Choice	12.8	20.4	12.3	来源 ↗
ACOS	混合（Choice	7.6	57.3	14.5	来源 ↗
SGD	混合（Choice	1.1	73.4	48.0	来源 ↗
POP909	混合（Choice	0.3	76.3	13.2	来源 ↗