ELRA - E0024 : Package d’évaluation MEDIA

Accueil Catalogue

Ressources Linguistiques

Rapports d'incidents

Envoyez-nous vos rapports d'incidents.

Consulter le catalogue

Langue(s)

Informations

Procédure & Conditions d'achat

Prix et licences d'utilisation

Comment promouvoir vos ressources ?

Contactez-nous

Référence Catalogue : E0024

Package d’évaluation MEDIA

Le package d’évaluation MEDIA a été produit dans le cadre du projet national français MEDIA (« Méthodologie d'Evaluation automatique de la compréhension hors et en contexte du DIAlogue »), issu du programme Technolangue, financé par le Ministère français délégué à la Recherche et aux Nouvelles Technologies (MRNT). Le projet MEDIA a permis de réaliser une campagne d'évaluation de la compréhension des systèmes de dialogue pour le français.

Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation MEDIA. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.

La campagne se décompose en deux tâches:
1) Evaluation du dialogue hors contexte : consiste à produire l’annotation sémantique hors contexte du dialogue de chacun des 3000 énoncés de test.
2) Evaluation du dialogue en contexte : consiste à évaluer la capacité des systèmes de compréhension a) à partir des transcriptions orthographiques seules et b) à partir des transcriptions et des annotations hors contexte de référence.

Le package d’évaluation MEDIA contient les données et outils suivants :
1) Corpus de 1258 dialogues enregistrés (WoZ) pour la tâche d’informations touristiques, transcrit et annoté en actes de dialogues et en segments sémantiques hors et en contexte de dialogue. Les annotations respectent le formalisme XML. Ce corpus comprend 18 831 énoncés utilisateur utilisés pour l'adaption des systèmes et pour l'évaluation.
2) Le corpus de test (200 dialogues) est annoté en méta-annotations afin de procéder à une étude diagnostique des sorties des systèmes. Ces méta-annotations comprennent des annotations de phénomènes liés à l’oral telles les répétitions, les auto-corrections, les incises, etc.
3) L’outil d’annotation Semantizer.
4) L’outil d’évaluation Mediaval HC hors contexte.
5) L'outil d'évaluation Mediaval EC en contexte de dialogue .

Une description du projet est disponible à l'adresse suivante :
http://www.technolangue.net/article.php3?id_article=62

Production

Projet : EVALDA

Contenus

Cliquer sur la flèche afin d'afficher les informations des contenus.