TREC 2007 Genomics Track Results

Last updated: November 3, 2007

This page contains an overview of the results from the TREC 2007 Genomics Track.

Overview statistics for the 66 official runs

Measure Passage2 MAP
 Passage MAP Aspect MAP
 Document MAP
Minimum 0.0008 0.0029 0.0197 0.0329
Median 0.0377 0.0565 0.1311 0.1897
Mean 0.0398 0.0560 0.1326 0.1862
Maximum 0.1148 0.0976 0.2631 0.3286

Mean results for each MAP measure for each official run, sorted for each measure

Run Passage2 MAP
 Run Passage MAP
 Run Aspect MAP
 Run Document MAP
NLMinter 0.1148 UICGenRun2 0.0976 NLMinter 0.2631 NLMinter 0.3286
NLMfusion 0.1097 NLMinter 0.0968 NLMfusion 0.2494 NLMfusion 0.3105
UniNE1 0.0988 york07ga1 0.0947 biokiP 0.2254 MuMshFd 0.2906
UniNE3 0.0970 iitx3r2 0.0940 UniNE1 0.2189 MuMshFdRsc 0.2880
MuMshFd 0.0895 iitx2r2 0.0926 MuMshNfdRsc 0.2079 UniNE1 0.2777
MuMshFdRsc 0.0893 NLMfusion 0.0921 MuMshFd 0.2068 UniNE3 0.2710
MuMshNfdRsc 0.0809 UniNE3 0.0914 UniNE3 0.2043 MuMshNfdRsc 0.2682
UBexp1 0.0698 MuMshFdRsc 0.0880 LHNCBC 0.2030 iitx2r2 0.2462
AIDrun1 0.0694 york07ga2 0.0859 ncbi2007a 0.2022 iitx1r2 0.2454
LHNCBC 0.0680 iitx1r2 0.0852 MuMshFdRsc 0.2016 iitx3r2 0.2414
GenTeaBB 0.0665 MuMshFd 0.0840 IRn 0.1976 AIDrun1 0.2412
GenTeam1 0.0647 UICGenRun1 0.0834 biokiS 0.1968 UTEMC2 0.2398
ncbi2007a 0.0612 UIUCrelfb 0.0811 biokiST 0.1923 UICGenRun2 0.2393
IRn 0.0606 biokiST 0.0803 DUTgen1 0.1865 IRn 0.2351
UICGenRun2 0.0511 UniNE1 0.0802 UICGenRun2 0.1807 UTEMC1 0.2335
biokiST 0.0472 MuMshNfdRsc 0.0794 GenTeaBB 0.1795 icbdoc 0.2309
york07ga2 0.0472 UniNE2 0.0787 UBexp1 0.1790 LHNCBC 0.2266
biokiS 0.0462 biokiS 0.0768 asubaral3 0.1782 ncbi2007a 0.2222
uchsc2 0.0458 UTEMC2 0.0738 GenTeam1 0.1749 biokiP 0.2222
uchsc1 0.0458 AIDrun2 0.0708 UIUCsyn 0.1629 biokiS 0.2222
UICGenRun1 0.0445 UTEMC1 0.0687 AIDrun1 0.1561 biokiST 0.2216
iitx3r2 0.0442 icbpassage 0.0654 UTEMC1 0.1535 UBexp1 0.2209
OHSUQA 0.0440 fdgerun2 0.0650 uchsc2 0.1525 york07ga1 0.2153
OHSUQASUBEX 0.0439 AIDrun1 0.0636 EBI1Lucene 0.1513 york07ga2 0.2150
OHSUQASUB 0.0434 UIUCsyn 0.0633 uchsc1 0.1503 UICGenRun1 0.2092
EBI1Lucene 0.0404 DUTgen1 0.0620 UTEMC2 0.1500 GenTeam1 0.1991
EBI2Fusion 0.0401 GenTeam1 0.0615 EBI2Fusion 0.1470 UIUCsyn 0.1962
AIDrun3 0.0399 GenTeaBB 0.0611 UIUCrelfb 0.1452 GenTeaBB 0.1962
GenTeaPA 0.0392 LHNCBC 0.0609 UICGenRun1 0.1451 GenTeaPA 0.1962
UIUCsyn 0.0391 york07ga3 0.0595 GenTeaPA 0.1415 AIDrun2 0.1954
iitx1r2 0.0388 DUTgen2 0.0595 DUTgen2 0.1411 UIUCrelfb 0.1940
DUTgen1 0.0384 DUTgen3 0.0587 icbdoc 0.1390 york07ga3 0.1917
biokiP 0.0378 UBexp1 0.0576 icbtwease 0.1317 UniNE2 0.1903
UTEMC2 0.0376 TsingHua4 0.0555 york07ga2 0.1306 kyoto1 0.1892
york07ga1 0.0373 GenTeaPA 0.0551 asubaral1 0.1303 DUTgen2 0.1851
UTEMC1 0.0367 ncbi2007a 0.0549 UIUCconj 0.1302 icbpassage 0.1833
UIUCrelfb 0.0364 fdgerun1 0.0535 iitx1r2 0.1272 DUTgen1 0.1818
DUTgen2 0.0339 UIUCconj 0.0497 iitx3r2 0.1253 EBI1Lucene 0.1799
EBI3Boosting 0.0339 TsingHua5 0.0490 EBI3Boosting 0.1247 UBHFmanual 0.1799
iitx2r2 0.0335 IRn 0.0486 kyoto1 0.1208 HFmanual 0.1773
DUTgen3 0.0314 kyoto1 0.0474 iitx2r2 0.1166 EBI2Fusion 0.1768
UIUCconj 0.0296 TsingHua3 0.0463 UBHFmanual 0.1138 fdgerun2 0.1759
UniNE2 0.0278 uchsc1 0.0460 HFmanual 0.1134 OHSUQA 0.1719
asubaral3 0.0268 uchsc2 0.0459 OHSUQASUBEX 0.1104 DUTgen3 0.1705
AIDrun2 0.0248 icbdoc 0.0420 asubaral2 0.1102 OHSUQASUBEX 0.1695
york07ga3 0.0227 EBI1Lucene 0.0420 UniNE2 0.1102 OHSUQASUB 0.1684
fdgerun2 0.0216 asubaral3 0.0416 OHSUQASUB 0.1080 icbtwease 0.1619
kyoto1 0.0209 EBI2Fusion 0.0404 OHSUQA 0.1075 uchsc2 0.1614
UBHFmanual 0.0189 OHSUQA 0.0403 york07ga1 0.1017 uchsc1 0.1610
HFmanual 0.0188 biokiP 0.0394 fdgerun2 0.0894 TsingHua4 0.1603
TsingHua4 0.0182 OHSUQASUBEX 0.0392 DUTgen3 0.0883 AIDrun3 0.1536
fdgerun1 0.0178 AIDrun3 0.0390 AIDrun2 0.0882 fdgerun1 0.1522
TsingHua5 0.0168 OHSUQASUB 0.0388 AIDrun3 0.0848 EBI3Boosting 0.1522
asubaral1 0.0157 icbtwease 0.0354 fdgerun1 0.0769 UIUCconj 0.1495
icbtwease 0.0156 asubaral2 0.0351 icbpassage 0.0691 TsingHua5 0.1413
TsingHua3 0.0145 EBI3Boosting 0.0346 TsingHua5 0.0670 TsingHua3 0.1331
icbdoc 0.0141 asubaral1 0.0287 TsingHua4 0.0642 kyoto2 0.1191
asubaral2 0.0140 kyoto2 0.0235 york07ga3 0.0611 kyoto3 0.1022
icbpassage 0.0123 kyoto3 0.0204 TsingHua3 0.0560 asubaral2 0.0932
ncbi2007b 0.0111 fdgerun3 0.0199 ncbi2007b 0.0552 asubaral3 0.0892
fdgerun3 0.0068 UBHFmanual 0.0179 fdgerun3 0.0333 asubaral1 0.0737
kyoto3 0.0065 UIowa07Gen01 0.0178 kyoto3 0.0312 fdgerun3 0.0725
kyoto2 0.0054 HFmanual 0.0177 kyoto2 0.0302 ncbi2007b 0.0568
UIowa07Gen01 0.0032 ncbi2007b 0.0095 UIowa07Gen01 0.0204 UIowa07Gen01 0.0541
hltcairo2 0.0013 hltcairo2 0.0042 hltcairo2 0.0203 hltcairo2 0.0396
hltcairo1 0.0008 hltcairo1 0.0029 hltcairo1 0.0197 hltcairo1 0.0329

Figures showing statistically distinct rank groups for the four MAP measures

Passage2

Passage

Aspect

Document