Résumé

L’apprentissage profond est une avancée majeure de l’intelligence artificielle ces dernières années. Son principal avantage est qu’il permet de construire automatiquement une représentation hiérarchique des données permettant de résoudre efficacement une tâche de prédiction. Ses domaines de prédilection sont principalement l’analyse d’image et le traitement du langage naturel. Un des futurs enjeux majeurs de cette approche est son application à la santé et un des verrous importants est son manque d’explicabilité. Ce type de modèle est en effet considéré comme une « boîte noire » où aucune explication n’est fournie à la prédiction calculée. Or si on souhaite l’utiliser en pratique notamment dans des domaines sensibles comme la médecine, l’explicabilité est nécessaire pour plusieurs raisons. D’une part, elle permet de valider les prédictions en vérifiant que le modèle repose sur des représentations fiables et non sur des artefacts. D’autre part, elle peut contribuer à la découverte biologique en identifiant de nouvelles signatures pertinentes. Par ailleurs, ces enjeux d’explicabilité s’inscrivent aujourd’hui dans un cadre réglementaire émergent, notamment avec le règlement européen sur l’intelligence artificielle (AI Act), qui impose des exigences accrues de transparence, de robustesse et de fiabilité pour les systèmes d’IA à haut risque, y compris les applications médicales. Dans cet exposé, je présenterai des approches que nous avons développées pour interpréter des réseaux de neurones appliqués à l’aide au diagnostic à partir de données d’expression de gènes ou d’électrocardiogrammes. L’explicabilité repose sur l’intégration de connaissances métier sous forme de concepts, soit a posteriori soit a priori.

Résumé

Learning-enabled Cyber-Physical Systems (LE-CPS), such as autonomous vehicles anddrones, face critical safety and reliability challenges due to the stochastic nature of deep neural networks. In our FSE’22 and TSE’23 studies, we conducted an in-depth investigation into industry testing practices, uncovering significant gaps between current testing techniques and the needs for regulatory assurance. To address these challenges, we introduced two pioneering approaches: test reduction for ROS-based multi-module autonomous driving systems, and scenario-based construction for checking traffic rule compliance in autonomous driving systems.

Machine learning tasks are generally formulated as optimization problems, where one searches for an optimal function within a certain functional space. In practice, parameterized functional spaces are considered, in order to be able to perform gradient descent. Typically, a neural network architecture is chosen and fixed, and its parameters (connection weights) are optimized, yielding an architecture-dependent result. This way of proceeding however forces the evolution of the function during training to lie within the realm of what is expressible with the chosen architecture, and prevents any optimization across architectures. Costly architectural hyper-parameter optimization is often performed to compensate for this. Instead, we propose to adapt the architecture on the fly during training. We show that the information about desirable architectural changes, due to expressivity bottlenecks when attempting to follow the functional gradient, can be extracted from backpropagation. To do this, we propose a mathematical definition of expressivity bottlenecks, which enables us to detect, quantify and solve them while training, by adding suitable neurons. Thus, while the standard approach requires large networks, in terms of number of neurons per layer, for expressivity and optimization reasons, we provide tools and properties to develop an architecture starting with a very small number of neurons. As a proof of concept, we show results~on the CIFAR dataset, matching large neural network accuracy, with competitive training time, while removing the need for standard architectural hyper-parameter search.