Automatically Assessing Gender Biases in Autoregressive Language Models
Par Fanny Ducel
Résumé
Les modèles de langue génératifs (aussi dits auto-régressifs), sont de plus en plus utilisés aussi bien dans la communauté scientifique, dans les entreprises que par le grand public. Toutefois, ces systèmes contiennent et amplifient de nombreux biais stéréotypés, qui peuvent contribuer à la stigmatisation et la discrimination de certaines catégories de population. Cette présentation commencera avec quelques définitions et enjeux liés aux biais stéréotypés des modèles de langue, puis un passage en revue de l’état de l’art sur les corpus, méthodes et métriques utilisés pour identifier, atténuer et évaluer ces biais. Ensuite, je présenterai une expérience menée sur la génération de lettres de motivation par des modèles de langue en français et en italien, qui met en évidence de forts biais genrés, invisibilisant le féminin et renforçant des associations stéréotypées entre certains domaines professionnels et un genre. Finalement, je partagerai les résultats d’une expérience connexe menée sur les biais de genre dans des cas cliniques générés en français.
La présentation sera en français mais les slides en anglais.