Benoît Sagot

Le Lefff (Lexique des Formes Fléchies du Français) est un lexique morphologique et syntaxique à large couverture, distribué sous licence libre LGPL-LR (Lesser General Public License For Linguistic Resources).

• Sagot (2010). The Lefff, a freely available and large-coverage morphological and syntactic lexicon for French. In Proceedings of the 7th international conference on Language Resources and Evaluation (LREC 2010), Istanbul, Turquie

Le Lefff est développé au sein de l'architecture Alexina (Architecture pour les LEXiques INformatiques et leur Acquisition), en parallèle à d'autres lexiques utilisant le même format, utilisés en TAL et/ou en linguistique quantitative. Cette architecture est à deux niveaux :

• lexique intensionnel, qui décrit pour chaque entrée lexicale son lemme (forme canonique + table de flexion) et des informations de syntaxe profonde (cadre de sous-catégorisation en fonctions syntaxiques profondes et réalisations possibles + constructions/reformulations/diathèses admissibles)
• lexique extensionnel, compilé automatiquement à partir du lexique intensionnel ; ce processus de génération comporte une phase de flexion, en fonction de la classe morphologique associée à l’entrée intensionnelle, puis une phase de construction de la structure syntaxique associée à chacune des formes fléchie obtenues (les informations syntaxiques variant d’une forme à une autre, en particulier pour les formes infinitives et participiales, et en fonction de chaque construction associée à l'entrée).

• acquisition automatique (avec validation manuelle) à l'aide de techniques statistiques appliquées sur des corpus bruts (Clément, Sagot et Lang 2004, Sagot 2005),
• acquisition automatique (avec validation manuelle) d'informations syntaxiques atomiques (cf thèse de Sagot, 2006, ch 7)
• correction et ajout manuel ou guidé par des techniques automatiques, comme par exemple la fouille d'erreurs dans les sorties d'analyseurs syntaxiques (Sagot et de La Clergerie, 2006),
• comparaison avec d'autres ressources:
  • intégration d'informations extraites des Tables du Lexique-Grammaire: constructions impersonnelles, adverbes en -ment, quelques classes d'expressions verbales figées (Sagot et Danlos 2006, Danlos et Sagot 2007, Sagot et Danlos 2007, Sagot et Fort 2007);
  • fusion avec l'intégralité du Dicovalence, avec validation manuelle de toutes les entrées concernant les 100 lemmes les plus fréquents ainsi que de toutes les entrées dont le résultat de la fusion contenait plus d'entrée qu'il y en avait dans le Lefff d'une part et dans Dicovalence d'autre part;
  • un certain nombre des noms et adjectifs viennent initialement du lexique morphologique Multext pour le français (Véronis 1998).

UDLexicons est une collection de lexiques morphologiques au format CoNLL-UL, une extension du format CoNLL-U proposé par More et al. (2018) dans le cadre de l'initiative Universal Depenencies.

• Sagot (2018). A multilingual collection of CoNLL-U-compatible morphological lexicons. In Proceedings of LREC 2018, Miyazaki, Japan (to appear)

The UDLexicons collection is a multilingual collection of 53 morphological lexicons covering 38 languages that follow the guidelines and format of the Universal Dependencies (UD) initiative. These lexicons were created based on exiting resources using three different approaches described in (Sagot 2018).

They use the CoNLL-UL extension of UD's CoNLL-U format, described in (More et al. 2018).

They are named using the following naming scheme: UDL-language_name-source_name.conllul, where source_name is the name of the main source of lexical information, sometimes followed by indications about the method used for extracting this information (see Sagot 2018 for details).

For questions and suggestions, please e-mail me.

Lexicons included in UDLexicons 0.2:

Alexina est à la fois un formalisme de description de lexiques morphologiques et syntaxiques et un ensemble d'outils pour le développement et l'exploitation de tels lexiques. Un certain nombre de lexiques Alexina sont disponibles (pour le Lefff, voir le lien dédié).

• Sagot (2010). The Lefff, a freely available and large-coverage morphological and syntactic lexicon for French. In Proceedings of the 7th international conference on Language Resources and Evaluation (LREC 2010), Istanbul, Turkey

EtymDB est une base de données étymologiques extraites du wiktionary, distribuée sous licence libre LGPL-LR (Lesser General Public License For Linguistic Resources).

• Sagot (2017). Extracting an Etymological Database from Wiktionary. In Proceedings of the international conference on Electronic Lexicography in the 21st century (eLex 2017), Leiden, The Netherlands
• Sagot & Fourrier (2020). Methodological Aspects of Developing and Managing an Etymological Lexical Resource: Introducing EtymDB-2.0. In Proceedings of the Twelfth International Conference on Language Resources and Evaluation (LREC 2020), Marseilles, France

• Sagot Benoît et Fišer Darja (2008). Building a free French wordnet from multilingual resources. In Ontolex 2008, Marrakech, Maroc

Le WOLF (Wordnet Libre du Français) est une ressource lexicale sémantique (wordnet) libre pour le français.

Le WOLF a été construit à partir du Princeton WordNet (PWN) et de diverses ressources multilingues (Sagot et Fišer 2008a, Sagot et Fišer 2008b, Fišer et Sagot 2008). Les lexèmes polysémiques ont été traités au moyen d'une approche reposant sur l'alignement en mots d'un corpus parallèle en cinq langues. Le lexique multilingue extrait a été désambiguïsé sémantiquement à l'aide des wordnets des langues concernées. Par ailleurs, une approche bilingue a été suffisante pour construire de nouvelles entrées à l'aide des mots monosémiques. Nous avons pour cela extrait des lexiques bilingues à partir de Wikipedia et de thésaurus. Le wordnet obtenu a été évalué par rapport au wordnet français issu du projet EuroWordNet.

En 2009, un travail spécifique a été effectué sur les synsets adverbiaux (Sagot, Fort et Venant 2009a, Sagot, Fort et Venant 2009b).

Depuis, plusieurs travaux ont permis de compléter le WOLF et d'en diminuer le bruit. Tout d'abord, une technique de désambiguisation de traductions extraites de ressources libres a permis de construire la version 0.2 (Sagot et Fišer 2011, 2012a). Deux approches plus spécifiques ont tiré parti de l'extraction de nominalisations à partir de corpus analysés syntaxiquement (version 0.2.1, Gábor et al. 2012) et de clusters induits à partir de corpus bilingues (version 0.2.2, Apidianaki et Sagot, 2012). La version 0.2.5 est le résultat de la fusion du WOLF 0.2.2 et d'un wordnet extrait automatiquement par une nouvelle approche à base de graphes de traductions extraites de wiktionnaires (Hanoka et Sagot 2012).

Une approche d'identification automatique d'erreurs a été également développée (Sagot et Fišer, 2012b), et une validation manuelle de plusieurs milliers de candidats erreurs a été réalisée et prise en compte. En parallèle, une validation et complétion manuelle de la plupart des synsets verbaux faisant partie des synsets de base (Basic Concept Sets du projet BalkaNet) a été effectuée. Enfin, un nettoyage manuel d'un nombre important de couples (lemme, synsets) dont la catégorie ne correspondait pas aux catégories connues du lexique Lefff a permis une diminution supplémentaire du bruit. Le résultat de ces travaux semi-manuels est la version 1.0b4.

Le WOLF contient tous les synsets du Princetown WordNet, y compris ceux pour lesquels aucun lexème français n'est connu.

Le WOLF est au format XML utilisé par l'outil DebVisDic, issu du format XML utilisé par le projet BalkaNet. Pour l'instant, les éléments SENSE sont remplis par des informations sur les sources par lesquelles le lexème a été trouvé, et non par son numéro de sens. Parmi elles, une étiquette commençant par "ManVal" indique un couple (synset, lemme) validé manuellement, et une étiquette commençant par "ManAdd" un couple ajouté manuellement.

Le WOLF est une ressource libre, distribuée sous licence Cecill-C (compatible LGPL).

• Sagot Benoît et Boullier Pierre (2008). SxPipe 2: architecture pour le traitement pré-syntaxique de corpus bruts. Traitement Automatique des Langues 49(2), (pages 155-188)

SxPipe, actuellement en version 2, est une chaîne modulaire et paramétrable dont le rôle est d’appliquer à des corpus bruts une cascade de traitements de surface.

Préalable nécessaire à une possible analyse syntaxique, ils peuvent également servir à préparer d’autres tâches. Développé pour le français mais également pour d’autres langues, SxPipe 2 comprend, entre autres, divers modules de reconnaissances d’entités nommées dans du texte brut, un segmenteur en phrases et en tokens, un correcteur orthographique et reconnaisseur de mots composés, ainsi qu’une architecture originale de reconnaissance de motifs non contextuels, utilisée par différentes grammaires spécialisées (nombres, constructions impersonnelles,...).

Un des principes sur lesquels repose SxPipe est la préservation des ambiguïtés. En effet, une succession linéaire de traitements accumule progressivement des informations sur le texte. Mais certains traitements peuvent ne pas disposer de toutes les informations nécessaires pour effectuer certains choix. Dans ce cas, SxPipe fait le choix, autant que possible, de préserver les ambiguïtés, retardant ainsi la prise de décision à une phase ultérieure qui disposera de plus d'éléments. Ceci nécessite que les modules concernés sachent produire en sortie, mais aussi prendre en entrée des entrées ambiguës (des DAG, ou graphes orientés acycliques).

• Pascal Denis and Benoît Sagot (2012). Coupling an annotated corpus and a lexicon for state-of-the-art POS tagging. In Language Resources and Evaluation, DOI 10.1007/s10579-012-9193-0.
• Benoît Sagot (2016). External Lexical Information for Multilingual Part-of-Speech Tagging. INRIA Scientific Report 8924.

MElt est un étiqueteur séquentiel état-de-l’art librement disponible (LGPL) prévu pour être entraîné au moyen d’un corpus annoté et d’un lexique externe. Il a été initialement développé par Pascal Denis et Benoît Sagot. Les développements récents ont été réalisés par Benoît Sagot. MElt peut faire usage comme modèle probabiliste sous-jacent d’un modèle de type chaîne de Markov à maximum d’entropie (MEMM) ou à perceptron multiclasse (multitron). Son format de sortie est le format Brown (une phrase par ligne, chaque phrase étant une séquence de mots annotés, au format mot/étiquette, séparés par des espaces).

MElt a été entraîné sur divers corpus annotés, avec par exemple les lexiques Alexina comme source d’informations lexicales.

MElt inclut également un wrapper de normalisation pour le traitement de textes bruités, tels que les textes publiés sur le web (forums, blogs, réseaux sociaux). Ce wrapper n’est disponible que pour le français et l’anglais.

MElt peut être réentraîné sur de nouvelles données, à condition qu’elles soient mises au format Brown, au moyen du script MElt-train. Un fichier contenant un lexique externe est nécessaire, mais ce fichier peut être vide si l’on ne souhaite pas faire usage d’informations lexicales externes.