mercredi 4 décembre 2013

Séance du 11 décembre 2013

Date et heure: Mercredi 11 décembre 2013 de 19h à 21h
Lieu: Pôle des Langues et Civilisations, 65 rue des Grands Moulins - 75013 Paris
Salle: Rendez-vous devant les ascenseurs du 5ème étage

Segmentation en mots non-supervisée et évaluation de la lexicalité : le cas du Mandarin
"Unsupervised Word Segmentation and Wordhood Assessment : The case for Mandarin Chinese"

Pierre Magistry (Université Paris Diderot)

Résumé :

Ce mémoire traite de la segmentation non-supervisée en mots et de l'évaluation de la «lexicalité» des formes observables en corpus. Le chinois moderne standard (mandarin) est choisi pour les expériences et évaluations.
La première partie porte sur les aspects linguistiques. Elle présente les critères couramment utilisés pour définir le «mot» en linguistique chinoise et en montre les limites au travers d'une discussion de linguistique générale, abordant notamment la question des «expressions multi-mots».

Nous présentons ensuite l'historique du développement de la Segmentation en Mot du Chinois comme une tâche typique en TAL, et défendons l'idée qu'une part d'arbitraire dans l'annotation des corpus d'évaluation favorise artificiellement les systèmes d'apprentissage supervisés alors que nous considérons les systèmes non-supervisés d'un plus grand intérêt pour la linguistique.

La première partie nous amène à fonder notre définition de la lexicalité sur deux critères: une forte autonomie de combinaison et un haut degré d'appartenance à une classe distributionnelle.

La seconde partie présente une méthode non-supervisée pour évaluer l'autonomie des formes inspirée par les hypothèses de Harris. Avec un algorithme de segmentation simple et rapide basé uniquement sur cette mesure, nous obtenons des résultats proches de l'état de l'art. Nous discutons ensuite de l'importance des pré-traitements et présentons des expériences utilisant la MDL.

Enfin, nous proposons une méthode et des outils pour une évaluation plus qualitative des analyses fournies par notre systèmes. Nous présentons aussi quelques résultats préliminaires sur d'autres langues.