Lorsque NVIDIA a présenté son concept « Guardian Angel » pour les voitures autonomes, l’idée paraissait presque trop simple : à côté de l’intelligence artificielle puissante et complexe qui conduit réellement la voiture, faire tourner un second logiciel, bien plus petit et bien plus prévisible, dont le seul rôle est de surveiller le premier et de freiner brutalement s’il commence à faire quelque chose de dangereux. Ce n’est pas une idée propre à NVIDIA — sous des noms différents, cette structure à deux niveaux est proche de la façon dont la plupart des systèmes sérieux de conduite automatisée et d’aide à la conduite avancée traitent le problème qui terrifie les ingénieurs plus que n’importe quelle simple panne de capteur : une intelligence artificielle qui prend une décision sûre d’elle-même, nette, et fausse.
Pourquoi un seul système, aussi intelligent soit-il, ne suffit pas
La chaîne d’intelligence artificielle qui perçoit la route, anticipe le comportement du trafic environnant et planifie une trajectoire — la même chaîne « sense, think, act » que nous avons traitée dans une série dédiée — est nécessairement complexe : des réseaux de neurones profonds entraînés sur d’énormes volumes de données, prenant des décisions probabilistes dans des situations qu’aucun ingénieur n’a explicitement programmées. Cette complexité est précisément ce qui la rend puissante, et précisément ce qui la rend difficile à certifier sûre par les méthodes traditionnelles. Un système de sécurité classique (le pilote automatique d’un avion, par exemple) peut souvent être testé de façon exhaustive et formellement prouvé correct parce que sa logique est explicite et bornée. Un système de perception ou de planification fondé sur le deep learning, à l’inverse, est une boîte noire entraînée sur des exemples — brillant pour généraliser à des situations proches de celles apprises, imprévisible dans les situations rares qui en sortent. Régulateurs et ingénieurs sont arrivés à la même réponse : ne pas chercher à rendre l’intelligence artificielle principale prouvablement parfaite. Plutôt l’envelopper dans une seconde couche indépendante — volontairement assez simple pour être formellement vérifiable — dont le seul rôle est de décider, à chaque instant, si l’action proposée par le système principal est sûre à exécuter.
Comment fonctionne vraiment le superviseur
Une couche de supervision de sécurité ne cherche généralement pas à mieux conduire que l’intelligence artificielle principale — elle cherche à en savoir moins, volontairement, et à avoir raison sur ce peu. Elle vérifie l’action proposée par le système principal (un angle de braquage, une demande de freinage, un changement de voie) au regard d’un ensemble de règles rigides et explicables et de limites physiques : la voiture est-elle sur le point de dépasser une distance de sécurité, d’empiéter sur une voie occupée, de dépasser l’adhérence disponible sur cette route, ou d’ignorer un capteur qui vient de devenir aveugle ? Si la réponse est oui, le superviseur ne cherche pas à contourner habilement le problème — il force la voiture vers une manœuvre à risque minimal : une décélération contrôlée, un redressement du volant, un arrêt sûr sur la bande d’arrêt d’urgence. C’est aussi pourquoi les architectures de supervision de sécurité s’appuient autant sur la redondance matérielle et logicielle, le même principe fail-operational derrière les circuits de direction et de freinage doubles et physiquement séparés que nous évoquons dans notre article sur la direction assistée — un superviseur qui partage une alimentation ou un processeur avec le système qu’il est censé contrôler n’est pas vraiment indépendant.
Rien de tout cela n’est propre à une seule marque. C’est la réponse pratique à un problème de certification que toute l’industrie partage : comment prouver qu’une voiture est sûre à vendre quand son principal système de décision est, par nature, non prouvable au sens traditionnel ? On ne cherche pas à prouver que l’intelligence artificielle est parfaite — on prouve que le chien de garde l’est, et on le laisse faire la seule chose qu’il est assez simple pour garantir : arrêter la voiture en sécurité quand il n’est pas sûr de lui.
La recherche européenne : du matériel fail-operational à l’IA certifiable
La recherche financée par l’UE sur ce problème précis couvre deux générations, séparées d’environ une décennie, car le défi sous-jacent a évolué avec les systèmes d’intelligence artificielle principaux eux-mêmes — du logiciel de contrôle embarqué classique au deep learning.
- AutoDrive (2017-2020, 16,16 M€ de contribution européenne, coordonné par l’allemand Infineon Technologies, dans le cadre de l’entreprise commune ECSEL — le partenariat UE/États/industrie sur les composants et systèmes électroniques, et non un projet CCAM ou 2Zero) a posé les bases matérielles et architecturales sur lesquelles repose toute cette approche. Le projet a réuni les principaux fabricants européens de semi-conducteurs, équipementiers de rang 1, constructeurs et instituts de recherche pour concevoir des composants et architectures électroniques fail-aware, fail-safe et fail-operational — les couches redondantes de matériel et de logiciel, communes aux niveaux SAE 3 à 5, qui permettent à une voiture de conserver assez de contrôle après la panne d’un composant pour atteindre un état à risque minimal plutôt que de simplement perdre toute fonction.
- SAFEXPLAIN (2022-2025, 3,89 M€, coordonné par le Barcelona Supercomputing Center dans le cadre du Cluster 4 d’Horizon Europe pour le Numérique, l’Industrie et l’Espace — une destination généraliste, pas un partenariat spécifique à l’automobile) s’attaque directement à la moitié la plus récente du problème : comment certifier un système de deep learning au regard des normes de sécurité fonctionnelle (FUSA) quand sa logique n’est pas du code explicite à lire, mais des poids appris à partir de données ? Le projet a développé des méthodes pour rendre le logiciel de deep learning explicable et traçable au point de prouver, à la satisfaction d’un organisme de certification, qu’il répond réellement à ses exigences de sécurité — avec l’automobile comme l’un des trois cas d’usage industriels aux côtés du spatial et du ferroviaire, en collaboration avec le spécialiste de la sécurité fonctionnelle IKR et le partenaire plateforme BSC lui-même.
Ensemble, les deux projets couvrent l’ensemble du problème : AutoDrive a construit le matériel redondant et l’architecture système dont une couche de supervision a besoin pour agir physiquement de façon indépendante de l’intelligence artificielle principale ; SAFEXPLAIN construit les méthodes permettant de certifier que l’IA supervisée, et la logique qui la supervise, se comportent réellement comme leurs concepteurs l’affirment. Aucun des deux projets ne vise à rendre l’IA principale de la voiture plus intelligente — tous deux visent à prouver, formellement et à la satisfaction d’un régulateur, ce qui se passe quand elle ne l’est pas.
Photo : © Car-Shooters