ELRA - E0022 : Package d’évaluation EQueR

Accueil Catalogue

Ressources Linguistiques

Rapports d'incidents

Envoyez-nous vos rapports d'incidents.

Consulter le catalogue

Langue(s)

Informations

Procédure & Conditions d'achat

Prix et licences d'utilisation

Comment promouvoir vos ressources ?

Contactez-nous

Référence Catalogue : E0022

Package d’évaluation EQueR

Le package d’évaluation EQueR a été produit dans le cadre du projet national français EQueR (« Evaluation en Question-Réponse »), issu du programme Technolangue, financé par le Ministère français délégué à la Recherche et aux Nouvelles Technologies (MRNT). Le projet EQueR a permis de réaliser une campagne d'évaluation des systèmes de question-réponse pour le français.

Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation EQueR. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi, de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.

La campagne se décompose en deux actions :
1) Une tâche générique : consiste à évaluer les performances des systèmes de question-réponse sur une collection hétérogène de textes.
2) Une tâche spécialisée : consiste à évaluer les performances des systèmes de question-réponse sur une collection de textes du domaine médical.

Le package d’évaluation EQueR contient les données et outils suivants :
1) Deux collections textuelles:
- corpus général : environ 1,5 Go de données composées d’articles de presse de plusieurs années des journaux Le Monde et Le Monde Diplomatique, de dépêches de presse et de rapports d’information du Sénat français portant sur des sujets très variés.
- corpus médical : environ 140 Mo de données composées principalement d’articles scientifiques et de recommandations de bonne pratique médicale, sélectionnés par le CISMeF (Catalogue et Index des Sites Médicaux Francophones) du Centre Hospitalier Universitaire de Rouen.
2) Deux corpus de questions :
- 500 questions pour la tâche générique et 200 questions pour la tâche spécialisée.
- pour chaque question des deux corpus, les 100 premiers identifiants sont fournis (par le moteur de recherche Pertimm).
3) Deux sous-corpus Pertimm créés à partir des identifiants de documents renvoyés par le moteur de recherche.
4) L’ensemble des résultats fournis aux participants.
5) Logiciel d’aide à l’évaluation des résultats dans le cadre d’une évaluation de systèmes de question-réponse (avec documentation détaillée).

Une description du projet est disponible à l'adresse suivante :
http://www.technolangue.net/article.php3?id_article=195

Production

Projet : EVALDA

Contenus

Cliquer sur la flèche afin d'afficher les informations des contenus.