Le projet PASSAGE (ANR-06-MDCA-013) organise une campagne d'évaluation des analyseurs syntaxiques du français en continuité avec la campagne d'évaluation EASY du projet EVALDA (programme TECHNOLANGUE).

Le but de cette campagne est double, d'abord tester le kit d'évaluation produit par le projet EASY, ensuite tester de nouvelles hypotheses pour un protocole amélioré d'évaluation des analyseurs syntaxiques.

Cette campagne est ouverte à toutes les équipes qui désirent tester un analyseur syntaxique du français à la seule condition de s'inscrire (pour plus d'information sur les modalités d'inscription, écrire à pap@limsi.fr).

La participation se fait sur la base du volontariat sans soutient financier. En échange du kit d'évaluation (outils et données), de la possibilité d'assister aux réunions de travail de la campagne et des données anonymisées des autres participants, une équipe participante s'engage à retourner des données annotées syntaxiquement au format spécifié par les organisateurs, selon un calendrier convenu en accord avec les organisateurs. La publication des résultats se fera de manière anonyme.

Cette première campagne a vocation à poursuivre le travail d'évaluation entamé avec EASy mais aussi à préparer la seconde campagne d'évaluation Passage qui aura lieu courant 2009 sur un ensemble nouveau et plus large de données. Cette campagne 2009 sera également ouverte à tous.

1. une piste EASY "classique" (obligatoire), qui adhèrera au protocole EASY et réutilisera l'intégralité des données EASY (corpus de masquage et de référence).
2. 2. une piste EASY "seg" (optionnelle), qui testera différentes variations du protocole d'évaluation (données non segmentées a priori en mots et en phrases, évaluation effectuée après réalignement dynamique des données), évaluation complémentaires sur la segmentation en mots et en phrases, sur le nombre de mots inconnus du système etc.

• Juillet 2007:
  1. ouverture des inscriptions (signature d'un engagement de participation).
  2. mise à disposition du kit d'évaluation EASY (corpus et outils)
• Août-Septembre 2007: Finalisation du protocole de la piste exploratoire EASY "seg"
• Octobre 2007: Déroulement des tests sur une fenêtre glissante de 2 semaines.
• Novembre 2007: Dépouillement des données
• Décembre 2007: Atelier de clôture.

• Patrick Paroubek (LIMSI-CNRS, pap@limsi.fr)
• Anne Vilnat (LIMSI-CNRS)
• Isabelle Robba (LIMSI-CNRS)
• Eric de la Clergerie (INRIA-ATOLL)
• Christelle Ayache (ELDA)

• Projet ANR MDCA Passage
• Projet Technolangue EVALDA/Easy, cadre de la campagne d'évaluation antérieure.
• Version actuelle 1.11 du guide d'annotation EASy