ELRA ELRA
  Accueil Catalogue
Ressources Linguistiques
Rapports d'incidents
Envoyez-nous vos rapports d'incidents.
Consulter le catalogue
 
Utilisez des mots-clés pour trouver le produit que vous recherchez.
Recherche avancée
Langue(s)
Anglais Français
Informations
  • Procédure & Conditions d'achat

  • Prix et licences d'utilisation

  • Comment promouvoir vos ressources ?

  • Contactez-nous
  • Référence Catalogue : ELRA-E0023
    Package d’évaluation EvaSy
    Le package d’évaluation EvaSy a été produit dans le cadre du projet national français EvaSy (« Evaluation des systèmes de Synthèse de parole »), issu du programme Technolangue, financé par le Ministère français délégué à la Recherche et aux Nouvelles Technologies (MRNT). Le projet EvaSy a permis de réaliser une campagne d'évaluation des synthétiseurs à partir du texte en français. Le projet se situe en partie dans la continuité de la seule campagne de ce type qui ait été conduite, dans le cadre des Actions de recherche Concertées de l'AUPELF (1996-1999).

    Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation EvaSy. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.

    La campagne se décompose en trois actions :
    1) Evaluation de la conversion Graphème-Phonème : consiste à évaluer la capacité des systèmes de synthèse de la parole à phonétiser un texte.
    2) Evaluation de la prosodie : consiste à évaluer la capacité des systèmes de synthèse de la parole à prédire la prosodie (durée et fréquence fondamentale des phonèmes) d’un texte à partir de ce texte.
    3) Evaluation globale de la qualité des systèmes de synthèse :
    - Tests ACR (Absolute Category Rating): consiste à évaluer la qualité globale de la voix de synthèse en demandant à des sujets d’évaluer plusieurs caractéristiques génériques de la voix de synthèse comme son côté naturel, sa fluidité, son intelligibilité.
    - Tests SUS (Semantically Unpredictable Sentences) : consiste à évaluer l’intelligibilité de la voix de synthèse en utilisant des phrases syntaxiquement correctes mais sémantiquement imprévisibles (qui n’ont pas de sens).

    Le package d’évaluation EvaSy contient les données et outils suivants :
    1) Pour l’évaluation du module de conversion Graphème-Phonème :
    - Environ 8 000 noms propres (4 115 couples prénom nom) ont été extraits du journal Le Monde des années 1992–2000 (plus de 200 millions de mots), phonétisés manuellement avec variantes et annotés avec des étiquettes linguistiques. La phonétisation de référence a été vérifiée et corrigée après une phase d’adjudication.
    - Un corpus d’emails (environ 115 000 mots) anonymisé, segmenté par paragraphe et phonétisé avec l’alphabet phonétique SAMPA. La phonétisation de référence n’a pas été vérifiée. L’évaluation de ces données n’a pas été retenue dans le cadre d’EvaSy.
    - L’outil SCLITE (développé par le NIST) a été utilisé pour comparer la phonétisation de référence à celle du système évalué et de calculer le nombre de phonèmes en erreur (phonèmes insérés, oubliés, substitués).
    - L’outil Post-align a été utilisé afin d’aligner mot à mot la phonétisation de référence à celle du système évalué.

    2) Pour l’évaluation du module de prosodie :
    - Données textuelles : 7 phrases phonétiquement équilibrées extraites du corpus BREF (cf. ELRA-S0067) et de durée variant de 4 à 11 secondes.
    - Données audio : lecture des 7 phrases par un locuteur.
    - L’outil Mbroli, qui transforme les fichiers prosodiques *.pho en fichiers audio *.wav, ainsi que la base de diphones MBROLA fr1.
    - L’outil Mbrolign, qui aligne les phonèmes sur le signal, extrait les paramètres prosodiques du signal et les recopie sur la base de diphones MBROLA.

    3) Pour l’évaluation globale de la qualité des systèmes de synthèse :
    a) Pour les tests ACR (Absolute Category Rating) :
    - Données textuelles : 40 passages de 5 phrases chacun et d’une durée de 20 secondes extraits du corpus EUROM1f français (cf. ELRA-S0014-01).
    - Données audio : lecture des 40 passages par un locuteur EUROM1.
    b) Pour les tests SUS (Semantically Unpredictable Sentences) :
    - Données textuelles : 24 listes de 12 phrases SUS. Les phonèmes sont également répartis par liste.
    - Données audio : lecture des 24 listes par un locuteur professionnel.

    Une description du projet est disponible à l'adresse suivante :
    http://www.technolangue.net/article.php3?id_article=202

    ISLRN : 340-228-754-954-9
    Production
    Projet : EVALDA
    Informations techniques
    Support de distribution : Downloadable
    Contenus Cliquer sur la flèche afin d'afficher les informations des contenus.
    written corpus 
     speech corpus 
     
    Prix Membres
    Academic - Evaluation 150.00 EUR
    Commercial - Evaluation 500.00 EUR
    Prix Non Membres
    Academic - Evaluation 300.00 EUR
    Commercial - Evaluation 1000.00 EUR

    Copyright © 2008 ELRA
    ELRACatalogue 0.8.0