Machine learning tasks are generally formulated as optimization problems, where one searches for an optimal function within a certain functional space. In practice, parameterized functional spaces are considered, in order to be able to perform gradient descent. Typically, a neural network architecture is chosen and fixed, and its parameters (connection weights) are optimized, yielding an architecture-dependent result. This way of proceeding however forces the evolution of the function during training to lie within the realm of what is expressible with the chosen architecture, and prevents any optimization across architectures. Costly architectural hyper-parameter optimization is often performed to compensate for this. Instead, we propose to adapt the architecture on the fly during training. We show that the information about desirable architectural changes, due to expressivity bottlenecks when attempting to follow the functional gradient, can be extracted from backpropagation. To do this, we propose a mathematical definition of expressivity bottlenecks, which enables us to detect, quantify and solve them while training, by adding suitable neurons. Thus, while the standard approach requires large networks, in terms of number of neurons per layer, for expressivity and optimization reasons, we provide tools and properties to develop an architecture starting with a very small number of neurons. As a proof of concept, we show results~on the CIFAR dataset, matching large neural network accuracy, with competitive training time, while removing the need for standard architectural hyper-parameter search.

Résumé

Les modèles de langue génératifs (aussi dits auto-régressifs), sont de plus en plus utilisés aussi bien dans la communauté scientifique, dans les entreprises que par le grand public. Toutefois, ces systèmes contiennent et amplifient de nombreux biais stéréotypés, qui peuvent contribuer à la stigmatisation et la discrimination de certaines catégories de population. Cette présentation commencera avec quelques définitions et enjeux liés aux biais stéréotypés des modèles de langue, puis un passage en revue de l’état de l’art sur les corpus, méthodes et métriques utilisés pour identifier, atténuer et évaluer ces biais. Ensuite, je présenterai une expérience menée sur la génération de lettres de motivation par des modèles de langue en français et en italien, qui met en évidence de forts biais genrés, invisibilisant le féminin et renforçant des associations stéréotypées entre certains domaines professionnels et un genre. Finalement, je partagerai les résultats d’une expérience connexe menée sur les biais de genre dans des cas cliniques générés en français.

Animateur·ices

• Julien Girard-Satabin, CEA List
• Wassila Ouerdane, CentraleSupélec

Rejoindre le groupe de travail

Pour rejoindre le groupe de travail et être tenu informé·e des séminaires, journées thématiques et activités, vous pouvez vous inscrire sur la liste mail dédiée.

Images et inspirations

L’un des objectifs du GT IASIV est de rendre plus palpable les processus de développement sous-jacent à l’IA. Reproduire les imaginaires classiques autours de l’IA (type “connexion entre l’homme et la machine à la Michel-Ange”) nous semble contraire à ce but. Ces représentations donnent une agentivité à un artefact produit par des humains. Elles sous-entendent qu’il n’est pas possible d’exercer un contrôle fin sur ces machines; et retirent la responsabilité au concepteur.