ELRA ELRA
  Accueil Catalogue
Ressources Linguistiques
Rapports d'incidents
Envoyez-nous vos rapports d'incidents.
Consulter le catalogue
 
Utilisez des mots-clés pour trouver le produit que vous recherchez.
Recherche avancée
Langue(s)
Anglais Français
Informations
  • Procédure & Conditions d'achat

  • Prix et licences d'utilisation

  • Comment promouvoir vos ressources ?

  • Contactez-nous
  • Référence Catalogue : ELRA-E0024
    Package d’évaluation MEDIA
    Le package d’évaluation MEDIA a été produit dans le cadre du projet national français MEDIA (« Méthodologie d'Evaluation automatique de la compréhension hors et en contexte du DIAlogue »), issu du programme Technolangue, financé par le Ministère français délégué à la Recherche et aux Nouvelles Technologies (MRNT). Le projet MEDIA a permis de réaliser une campagne d'évaluation de la compréhension des systèmes de dialogue pour le français.

    Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation MEDIA. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.

    La campagne se décompose en deux tâches:
    1) Evaluation du dialogue hors contexte : consiste à produire l’annotation sémantique hors contexte du dialogue de chacun des 3000 énoncés de test.
    2) Evaluation du dialogue en contexte : consiste à évaluer la capacité des systèmes de compréhension a) à partir des transcriptions orthographiques seules et b) à partir des transcriptions et des annotations hors contexte de référence.

    Le package d’évaluation MEDIA contient les données et outils suivants :
    1) Corpus de 1258 dialogues enregistrés (WoZ) pour la tâche d’informations touristiques, transcrit et annoté en actes de dialogues et en segments sémantiques hors et en contexte de dialogue. Les annotations respectent le formalisme XML. Ce corpus comprend 18 831 énoncés utilisateur utilisés pour l'adaption des systèmes et pour l'évaluation.
    2) Le corpus de test (200 dialogues) est annoté en méta-annotations afin de procéder à une étude diagnostique des sorties des systèmes. Ces méta-annotations comprennent des annotations de phénomènes liés à l’oral telles les répétitions, les auto-corrections, les incises, etc.
    3) L’outil d’annotation Semantizer.
    4) L’outil d’évaluation Mediaval HC hors contexte.
    5) L'outil d'évaluation Mediaval EC en contexte de dialogue .

    Une description du projet est disponible à l'adresse suivante :
    http://www.technolangue.net/article.php3?id_article=62

    ISLRN : 699-856-029-354-6
    Production
    Projet : EVALDA
    Informations techniques
    Support de distribution : Downloadable
    Contenus Cliquer sur la flèche afin d'afficher les informations des contenus.
     speech corpus 
     
    Prix Membres
    Academic - Commercial 20000.00 EUR
    Academic - Research 300.00 EUR
    Commercial - Commercial 20000.00 EUR
    Commercial - Evaluation 1000.00 EUR
    Commercial - Research 5000.00 EUR
    Prix Non Membres
    Academic - Commercial 25000.00 EUR
    Academic - Research 2000.00 EUR
    Commercial - Commercial 25000.00 EUR
    Commercial - Evaluation 6500.00 EUR
    Commercial - Research 7500.00 EUR

    Bundle
    La ressource est disponible dans le(s) bundle(s) ci-dessous
    ELRA-B0015

    Copyright © 2008 ELRA
    ELRACatalogue 0.8.0