Bibtex de la publication

@Article{ CaHuBoCh2011.1,
author = {Cabanac, Guillaume and Hubert, Gilles and Boughanem, Mohand and Chrisment, Claude},
title = "{Impact du « biais des ex aequo » dans les évaluations de Recherche d'Information}",
journal = {Document numérique},
publisher = {Hermès},
address = {http://www.editions-hermes.fr/},
year = {2011},
month = {juin},
volume = {14},
number = {2},
pages = {149--168},
language = {français},
URL = {http://www.irit.fr/publis/SIG/2011_DN_CHBC.pdf},
keywords = {SIGEVI fr@ SIGRI},
abstract = {Cet article considère la problématique de l'évaluation en Recherche d'Information, en particulier dans le cadre de Trec avec le programme trec_eval. Nous montrons que les systèmes de RI ne sont pas uniquement évalués en fonction de la pertinence des documents qu'ils restituent. En effet, dans le cas de documents ex aequo (trouvés avec le même score) leur nom est utilisé pour les départager. Nous assimilons cette façon de départager les ex aequo à un biais expérimental qui influence les scores attribués aux systèmes, et argumentons en faveur d'une stratégie pour les départager plus équitablement. L'étude de 22 éditions de Trec révèle une différence significative entre la stratégie conventionnelle et inéquitable de trec_eval et les stratégies équitables proposées. Ces résultats expérimentaux suggèrent l'intégration des stratégies proposées dans trec_eval afin d'encourager la réalisation d'expérimentations plus équitables.}
}