TC-STAR 2007 Evaluation Package - SLT Chinese-to-English

View resource name in all available languages

Package d’évaluation TC-STAR 2007 – SLT chinois-anglais

113-138-629-916-7

ID:

ELRA-E0030

TC-STAR is a European integrated project focusing on Speech-to-Speech Translation (SST). To encourage significant breakthrough in all SST technologies, annual open competitive evaluations are organized. Automatic Speech Recognition (ASR), Spoken Language Translation (SLT) and Text-To-Speech (TTS) are evaluated independently and within an end-to-end system.

The third TC-STAR evaluation campaign took place in March 2007.
Three core technologies were evaluated during the campaign:
• Automatic Speech Recognition (ASR),
• Spoken Language Translation (SLT),
• Text to Speech (TTS).

Each evaluation package includes resources, protocols, scoring tools, results of the official campaign, etc., that were used or produced during the second evaluation campaign. The aim of these evaluation packages is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself.

The speech databases made within the TC-STAR project were validated by SPEX, in the Netherlands, to assess their compliance with the TC-STAR format and content specifications.

This package includes the material used for the TC-STAR 2007 Spoken Language Translation (SLT) third evaluation campaign for Chinese-to-English translation. The same packages are available for English (ELRA-E0025), Spanish (ELRA-E0026-01 and E0026-02) and Mandarin Chinese (ELRA-E0027) for ASR and for SLT in 2 other directions, English-to-Spanish (ELRA-E0028) and Spanish-to-English (ELRA-E0029-01 and E0029-02).

To be able to chain the components, ASR, SLT and TTS evaluation tasks were designed to use common sets of raw data and conditions. Three evaluation tasks, common to ASR, SLT and TTS, were selected: EPPS (European Parliament Plenary Sessions) task, CORTES (Spanish Parliament Sessions) task and VOA (Voice of America) task. The CORTES data were used in addition to the EPPS data to evaluate ASR in Spanish and SLT from Spanish into English.

This package was used within the VOA task and consists of one test data set, composed of two subsets of about 20,000 words each (one subset from the manual and one subset from automatic transcriptions), from 26 and 27 December 1998. The source data were then translated into English by two independent agencies.

View resource description in French

TC-STAR est un projet intégré européen basé sur la traduction parole-parole (ou SST pour Speech-to-Speech Translation). Pour encourager de manière conséquente l’avancée dans toutes les technologies de la SST, des évaluations ouvertes à la concurrence sont organisées sur une base annuelle. Les technologies de la reconnaissance automatique de la parole (ou ASR pour « Automatic Speech Recognition »), de la traduction de la langue parlée (ou SLT pour « Spoken Language Translation ») et les technologies texte-parole (ou TTS pour « Text-to-Speech ») sont évaluées à la fois de façon indépendante et intégrées à un système « end-to-end » (de « bout en bout »).

La troisième campagne d’évaluation TC-STAR s’est déroulée en mars 2007.
Trois technologies de base ont été évaluées lors de cette campagne:
• la reconnaissance automatique de la parole (ASR),
• la traduction de la langue parlée (SLT),
• la synthèse texte-parole (TTS).

Chaque package d’évaluation regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la seconde campagne d’évaluation. Le but de ces packages d’évaluation est de permettre à des acteurs externes d’évaluer leur propre système et de comparer leurs résultats à ceux obtenus pendant la campagne.

Les bases de données orales produites dans le projet TC-STAR ont été validées par SPEX, Pays-Bas, selon le format et les spécifications de contenu TC-STAR.

Ce package comprend le matériel utilisé pour la troisième campagne d’évaluation TC-STAR 2007 Spoken Language Translation (SLT) pour la traduction du chinois vers l’anglais. Des packages similaires sont également disponibles pour l’anglais (ELRA-E0025), l’espagnol (ELRA-E0026-01 et E0026-02) et le mandarin (ELRA-E0027) pour l’ASR, ainsi que pour la SLT dans 2 autres sens, anglais vers espagnol (ELRA-E0028), espagnol vers anglais (ELRA-E0029-01 et E0029-02).

Pour permettre de regrouper les composants, les tâches d’évaluation ASR, SLT et TTS ont été conçues en utilisant des données brutes et des conditions communes. Trois tâches d’évaluation, communes à l’ASR, la SLT, et la TTS ont été choisies : la tâche EPPS (« European Parliament Plenary Sessions » – Sessions plénières du Parlement européen), la tâche CORTES (« Spanish Parliament Sessions ») et la tâche VOA (« Voice of America » - La voix de l’Amérique). Les données CORTES ont été utilisées en complement des données EPPS pour l’évaluation ASR en espagnol et SLT de l’espagnol vers l’anglais.

Le présent package a été utilisé dans le cadre de la tâche VOA et comprend un ensemble de données de test, composé de deux sous-ensembles d’environ 20 000 mots chacun (un sous-ensemble à partir des transcriptions manuelles et le deuxième à partir des transcriptions automatiques) des 26 et 27 décembre 1998. Les données sources ont été ensuite traduites vers l’anglais par deux sociétés indépendantes.

MEMBERacademiccommercial
Licence: Evaluation Use - ELRA EVALUATION
500.00 € submit
500.00 € submit
NON MEMBERacademiccommercial
Licence: Evaluation Use - ELRA EVALUATION
750.00 € submit
750.00 € submit

Special offer:

09/10/2007
People who looked at this resource also viewed the following:
Resources from the same project