L’intelligence artificielle dévoile la structure du langage

Paola Merlo dirige deux projets de linguistique informatique au sein du Pôle de recherche national « Evolving Language ». Elle fait appel à l’intelligence artificielle pour découvrir des rouages intimes
de la structure des langues

« Jean mange une pomme. » Même une phrase aussi élémentaire que celle-ci est susceptible de soulever des dizaines de questions chez un linguiste. Où est le mot qui exprime l’action, celui qui en est l’agent, celui qui la subit ? Pourquoi sont-ils dans cet ordre ? Comment est-ce que le sens des mots et leur agencement permettent de donner un sens à la phrase entière ? Est-ce que les réponses à ces questions sont les mêmes dans toutes les langues actuelles et dans celles du passé ? Trouve-t-on des propriétés linguistiques similaires dans le langage humain et celui de certains animaux ? Mais qui est ce Jean ?
Les réponses à ces questions n’ont en général rien d’évident. Le langage humain est en effet une construction complexe dont il est difficile d’extraire des règles universelles. Cela est sans doute dû au fait qu’il est le produit de l’intelligence humaine, elle-même un phénomène difficile à cerner tant il a été modelé par des millions d’années d’évolution. Pour tenter d’y voir plus clair, Paola Merlo, professeure associée au Département de linguistique (Faculté des lettres), et impliquée dans plusieurs projets de linguistique informatique au sein du Pôle de recherche national (PRN) Evolving Language, a choisi depuis plusieurs années de se faire seconder par une autre forme d’intelligence : l’intelligence artificielle.

Composition de phrases

«Notre travail porte sur la structure du langage, précise Paola Merlo, qui est également la directrice suppléante du PRN pour Genève. Nous voulons découvrir certaines propriétés subtiles des langues à l’aide de logiciels d’apprentissage automatique (machine learning), inspirés des réseaux de neurones. Les deux projets que je codirige se penchent sur des notions assez abstraites comme la syntaxe et la signification des mots.»
Le premier s’intéressera à l’émergence et à l’évolution de ce que les linguistes appellent la « compositionnalité ». Les langues sont en effet composées de mots qui ont chacun une signification et qui peuvent être combinés de façon à fabriquer des phrases qui ont elles aussi un sens. Cette combinaison doit obéir à un certain nombre de règles pour que cela fonctionne et que deux interlocuteurs puissent se comprendre. Il existe d’ailleurs une littérature scientifique abondante sur ce sujet.
L’équipe de Paola Merlo a notamment montré récemment que les langues ont tendance à minimiser la distance entre les mots qui sont reliés dans leur signification. Par exemple, un adjectif et le nom qu’il qualifie ne sont jamais très loin l’un de l’autre. Kristina Gulordava, jusqu’à récemment doctorante de Paola Merlo et dont la thèse lui a valu de recevoir le prix Latsis en octobre dernier, a découvert grâce à des logiciels d’apprentissage automatique que cette tendance existait dans toutes les langues et qu’elle se renforçait au cours de l’histoire. Elle est en effet moins prononcée en latin qu’elle ne l’est dans les langues romanes modernes.
Dans la même idée, Paola Merlo a réussi à extraire des propriétés linguistiques dans des phrases interrogatives ou relatives.
« De telles propriétés ont bien dû apparaître un jour et évoluer jusqu’à l’état actuel, explique-t-elle. On peut trouver des exemples de compositionnalité plus simples chez les animaux (singes, suricates, oiseaux…). Ils n’ont pas de mots à proprement parler mais des sons qui sont articulés à la suite les uns des autres en fonction du message qu’ils veulent transmettre. On ignore si les primates, pour prendre cet exemple, utilisent une véritable grammaire pour leur communication. Cela reste à établir et c’est d’ailleurs un des objectifs du PRN. Mais la question que l’on veut poser est celle de savoir comment on est passé d’un système très linéaire, qui devait être il y a très longtemps celui de l’humain (ou de ses ancêtres), au système actuel, d’une très grande complexité, avec des contraintes de localité (la place des mots), des emboîtements multiples (comme les phrases relatives), etc. »
Laissant la partie animale du projet à Balthasar Bickel et Simon Townsend, chercheurs à l’Institut de linguistique comparée de l’Université de Zurich, Paola Merlo se chargera des modèles informatiques, en particulier ceux dont l’architecture est inspirée par les techniques d’apprentissage automatique. Ces programmes de machine learning sont capables de digérer de très grandes quantités de données et ont même la faculté d’apprendre de leurs propres erreurs et de s’améliorer au fur et à mesure de leur utilisation.
Les premiers algorithmes de ce type ne sont pas récents. Ils ont été développés dans les années 1950, d’abord dans le domaine de la reconnaissance d’images puis, plus tard, dans ceux de la reconnaissance vocale, de la bio-­informatique, de la santé, de l’art, de la traduction, du dialogue humain-machine, etc.
Schématiquement, ces programmes comportent une entrée par laquelle ils se nourrissent d’exemples (en très grandes quantités) grâce auxquels ils pourront faire leur apprentissage. Dans le cas de la linguistique, il peut s’agir de listes interminables de vocabulaires, de phrases, de traductions, de dialogues, de commentaires, etc. La sortie, elle, est souvent une « tâche » linguistique comme une traduction, une analyse grammaticale, une prise de parole dans un dialogue. Dans les cas les plus simples, elle peut être une simple réponse binaire (vrai/faux). Par exemple, est-ce que le logiciel arrive à faire la différence entre en sujet animé (Jean) et inanimé (la pomme) dans une phrase ?
Entre les deux se trouve un certain nombre de « couches cachées » (jusqu’à 24 aujourd’hui), qui se chargent des calculs complexes, de convolutions, d’échantillonnages et d’autres opérations non linéaires. Cette partie représente une « boîte noire », invisible et inaccessible à l’utilisateur du programme. Elle a d’ailleurs donné naissance au terme d’« apprentissage profond » ou deep learning.
« Notre approche consiste à vérifier si de tels modèles arrivent à reproduire (ou découvrir, ce qui serait encore mieux) des propriétés de compositionnalité que l’on observe dans le langage humain, explique Paola Merlo. On aimerait également en tirer des renseignements sur la façon dont les choses auraient pu évoluer. »

L’« élément agentif »

Le second projet que codirige la chercheuse genevoise se penchera sur la « signification du verbe », ou la « structure argumentale ». Les langues humaines ont tendance, par exemple, à préférer que le sujet grammatical d’une phrase soit l’« élément agentif », c’est-à-dire celui qui fait l’action et qui détermine l’accord. Dans « Jean mange une pomme », il s’agit de Jean. Cette construction – qui nous paraît évidente tant on y est habitué – a l’avantage d’être plus facile à apprendre et à mémoriser par le cerveau.
Paola Merlo vient d’ailleurs de recevoir le titre de Fellow de l’Association mondiale de linguistique informatique pour ses recherches pionnières sur ce sujet, à savoir le « problème fondamental de la structure prédicat-argument des verbes et l’acquisition automatique des propriétés lexicales, syntaxiques et sémantiques lexicales des verbes. »
Pour aller plus loin, l’équipe de Paola Merlo se chargera de développer des modèles informatiques permettant de révéler des propriétés du langage, aussi bien chez l’être humain que chez l’animal, qui soient impliquées dans la décomposition des événements. Les singes ont-ils des verbes, par exemple ? Mieux : des verbes de changements d’état comme fondre, brûler, etc. ?
« Nous aimerions savoir quelles sont les notions primitives que l’on doit étudier pour voir si les primates ont une compréhension similaire à celle des humains, précise Paola Merlo. Notre espèce dispose d’une très large palette d’outils linguistiques lui permettant de décrire les phénomènes qui l’entourent. Nous pouvons exprimer le fait qu’une action n’est pas complètement terminée, par exemple. Jusqu’à quel point est-ce le cas chez les animaux ? »
Le rôle de l’équipe genevoise consistera à étudier la partie humaine du projet et à développer des modèles capables de décrire au mieux le niveau de complexité actuel du langage en espérant qu’ils fournissent des indications utiles pour l’étude de la communication animale.
« Les systèmes de communication des animaux sont plus simples que le nôtre mais ils peuvent être plus sophistiqués qu’on ne le pense généralement, ajoute Paola Merlo. Nous avons encore beaucoup à apprendre dans ce domaine. »