From Probabilistic Testing to Certifiable AI: Large Language Models and Neuro-Symbolic Reasoning for Verifiable Autonomous Systems

Résumé

Learning-enabled Cyber-Physical Systems (LE-CPS), such as autonomous vehicles anddrones, face critical safety and reliability challenges due to the stochastic nature of deep neural networks. In our FSE’22 and TSE’23 studies, we conducted an in-depth investigation into industry testing practices, uncovering significant gaps between current testing techniques and the needs for regulatory assurance. To address these challenges, we introduced two pioneering approaches: test reduction for ROS-based multi-module autonomous driving systems, and scenario-based construction for checking traffic rule compliance in autonomous driving systems.

This talk will then present our recent progress in bridging probabilistic testing with formal reasoning. I will first cover our FSE’24 work on reviving model-based testing with Large Language Models (LLMs), followed by TSE’24 and ICSE’25 efforts on LLM-driven scenario generation and online testing for uncrewed drone autolanding. Finally, I will introduce our FSE’25 paper NeuroStrata, which leads a neurosymbolic shift from black-box machinelearning to white-box, human-understandable reasoning, aiming to improve interpretability, testability, and certification of AI components in safety-critical CPS.

This talk will be followed by a presentation of CEA LIST Safety and Security Research and DAVID (UVSQ) labs.

Biographie

Le professeur associé Xi Zheng a obtenu son doctorat en génie logiciel à l’Université du Texas à Austin en 2015. Il a été nommé boursier Future Fellow du Conseil australien de la recherche (ARC) en 2024. Entre 2005 et 2012, il a occupé le poste d’architecte en chef des solutions pour Menulog Australia. Actuellement, il occupe plusieurs postes de direction à l’Université Macquarie, en Australie : directeur du groupe de recherche sur les systèmes intelligents (ITSEG.ORG), directeur des relations internationales à l’école d’informatique, professeur associé et directeur adjoint du programme en génie logiciel. Ses domaines de recherche comprennent la vérification et les tests des systèmes cyber-physiques, l’analyse de la sûreté, l’apprentissage distribué, l’Internet des objets et plus largement le génie logiciel. Le professeur Zheng a obtenu avec succès plus de 2,4 millions de dollars de financements compétitifs, notamment du Conseil australien de la recherche (1 bourse Future Fellow, 2 projets Linkage et 1 Discovery) ainsi que de Data61 (CRP), pour des projets portant sur l’analyse de la sûreté, les tests et la vérification de modèles, et le développement d’IA de confiance pour les véhicules autonomes. Il a reçu plusieurs distinctions, dont le prix du chercheur industriel de l’année à Deakin (2016) et la deuxième place au prix du jeune chercheur de l’Université Macquarie (2020). Ses contributions académiques comprennent de nombreux articles très cités et des prix de meilleur article dans des conférences. Il a siégé dans les comités de programme de conférences majeures sur les logiciels et systèmes, telles que ICSE (2026), FSE (2022, 2024) et PerCom (2017–2025), ainsi qu’en tant que président de comité pour IEEE CPSCom-2021 et IEEE Broadnets-2022.

En outre, il est rédacteur associé pour ACM Distributed Ledger Technologies et rédacteur pour le journal Reliable Intelligent Environments de Springer. En 2023, le professeur Zheng a été professeur invité à UCLA et à l’Université du Texas à Austin, et cofondateur de l’atelier international sur les systèmes cyber-physiques autonomes de confiance. Le professeur Zheng est également co-organisateur principal de la réunion Shonan (Séminaire n° 235) intitulée “LLM-Guided Synthesis, Verification, and Testing of Learning-Enabled CPS” en mars 2026, ainsi que du séminaire Dagstuhl (202501048) sur “Advancing Testability and Verifiability of CPS with Neurosymbolic and Large Language Models” en octobre 2026.-