IA explicable : pourquoi un score de risque doit pouvoir se justifier

Ce que recouvre l'explicabilité d'un score

Expliquer un score, c'est pouvoir dire quels éléments l'ont fait monter ou baisser, avec quel poids, et pourquoi ces éléments sont pertinents pour le risque évalué. On distingue deux niveaux. L'explication globale décrit le comportement général du modèle ; l'explication locale porte sur un dossier précis : pourquoi ce client a obtenu ce score.

L'interprétabilité désigne la capacité d'un modèle à être compris directement, comme une grille de score. L'explicabilité inclut aussi les méthodes qui reconstituent après coup la contribution de chaque variable d'un modèle complexe, à condition que ces explications soient fidèles et stables.

L'ACPR a proposé en juin 2020, dans un document de réflexion sur la gouvernance des algorithmes d'intelligence artificielle dans le secteur financier, une échelle en quatre niveaux d'explication : observation, justification, approximation et réplication. Le niveau requis dépend de deux facteurs, approuvés par les répondants à la consultation : la criticité du cas d'usage et les destinataires de l'explication.

Score de fraude ou score de crédit : ce que dit l'AI Act

Le règlement (UE) 2024/1689 sur l'intelligence artificielle, dit AI Act, classe à haut risque, dans son annexe III, les « systèmes d'IA destinés à être utilisés pour évaluer la solvabilité des personnes physiques ou pour établir leur note de crédit, à l'exception des systèmes d'IA utilisés à des fins de détection de fraudes financières ». Le considérant 58 confirme que les systèmes destinés à détecter les fraudes dans l'offre de services financiers ne devraient pas être considérés comme à haut risque.

La qualification dépend donc de l'usage réel du système, pas du nom du produit : un « score de fraude » utilisé pour décider d'accorder un crédit à un particulier, ou d'en fixer les conditions, se rapproche de l'évaluation de la solvabilité. Ce point de l'annexe III ne vise que les personnes physiques, pas le scoring d'entreprises. Et selon l'article 6, un système de l'annexe III qui effectue un profilage de personnes physiques est toujours à haut risque, même s'il ne remplit qu'une tâche préparatoire.

Pour les systèmes à haut risque, plusieurs obligations touchent directement l'explicabilité. L'article 13 impose une conception « suffisamment transparente pour permettre aux déployeurs d'interpréter les sorties d'un système et de les utiliser de manière appropriée ». L'article 14 exige un contrôle humain effectif, que l'article 26 confie à des personnes disposant « des compétences, de la formation et de l'autorité nécessaires ». L'article 86 ouvre aux personnes concernées le droit d'obtenir du déployeur « des explications claires et pertinentes sur le rôle du système d'IA dans la procédure décisionnelle et sur les principaux éléments de la décision prise ».

Le calendrier a été modifié. Le règlement (UE) 2026/1744 du 8 juillet 2026, dit omnibus numérique sur l'IA, a reporté au 2 décembre 2027 l'application des sections 1, 2 et 3 du chapitre III aux systèmes à haut risque de l'annexe III, initialement prévue le 2 août 2026. Documenter un modèle déjà en production prend du temps : ce délai est à utiliser.

RGPD : décision automatisée et droit à l'explication

Avant même l'AI Act, le RGPD encadre les scores. Son article 22 donne à la personne concernée « le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l'affectant de manière significative de façon similaire ». Les exceptions prévues imposent au moins le droit d'obtenir une intervention humaine, d'exprimer son point de vue et de contester la décision. Les articles 13, 14 et 15 obligent par ailleurs à fournir, en cas de décision automatisée, des « informations utiles concernant la logique sous-jacente ».

Dans l'arrêt SCHUFA (C-634/21, 7 décembre 2023), la Cour de justice de l'Union européenne juge que l'établissement automatisé d'une valeur de probabilité sur la capacité d'une personne à honorer ses engagements de paiement constitue une « décision individuelle automatisée » lorsque la décision du tiers qui la reçoit (conclure, exécuter ou mettre fin à un contrat) en dépend de manière déterminante. Autrement dit, le fait qu'un tiers prenne formellement la décision ne suffit pas à sortir le score du champ de l'article 22.

Dans l'arrêt C-203/22 du 27 février 2025, dit Dun & Bradstreet Austria, la Cour précise le contenu de l'explication due : la personne peut exiger que le responsable du traitement lui explique « la procédure et les principes concrètement appliqués » pour obtenir le résultat, par exemple un profil de solvabilité. Les éventuels secrets d'affaires sont communiqués à l'autorité de contrôle ou au juge, qui arbitre.

Ce que les superviseurs financiers attendent

Pour les établissements de crédit, les orientations de l'Autorité bancaire européenne (ABE) sur l'octroi et le suivi des prêts (EBA/GL/2020/06), applicables depuis le 30 juin 2021, traitent des innovations technologiques utilisées pour l'octroi de crédit, dont les modèles automatisés. Elles demandent notamment de « comprendre les modèles sous-jacents utilisés, y compris leurs capacités, leurs hypothèses et leurs limites, tout en assurant leur traçabilité, leur vérifiabilité, leur robustesse et leur résilience », de comprendre la qualité des données d'entrée et de détecter et prévenir les biais dans le processus de décision.

En France, la synthèse de la consultation de l'ACPR (décembre 2020, 26 réponses écrites) relève que les modèles de type gradient boosted trees sont très couramment utilisés. Des modèles non linéaires sont donc déjà en production, et leur explication doit être organisée.

En pratique, un dossier de modèle présentable à un superviseur ou à un auditeur contient au minimum :

• la finalité du modèle, son périmètre d'application et ses limites connues ;
• les données d'entraînement, leur provenance et les contrôles de qualité appliqués ;
• les indicateurs de performance et de stabilité, suivis dans le temps ;
• la méthode d'explication utilisée et les tests de fidélité de ces explications ;
• les règles de contrôle humain : seuils, cas d'escalade, pouvoirs de décision ;
• l'historique des versions et des changements de paramétrage.

Concevoir un score explicable au quotidien

L'explicabilité se construit dès la conception du score et du processus de décision.

Des signaux nommés et pondérés

Un score exploitable s'accompagne de la liste des signaux qui l'ont constitué, classés par contribution, avec un libellé métier plutôt qu'un nom de variable. « Revenus constatés inférieurs aux revenus déclarés » est actionnable ; « variable 127 = 0,83 » ne l'est pas. Dans le volet documentaire du POC décrit par le livre blanc Cirkles, chaque constat est ainsi restitué avec la règle qui l'a produit, la valeur constatée et la source qui l'établit.

Un contrôle humain là où il est nécessaire

Définissez les zones de décision automatique et les zones de revue : par exemple, acceptation automatique sous un seuil de risque, revue obligatoire au-dessus, et revue systématique de tout refus fondé principalement sur le modèle. Donnez à l'analyste la possibilité de s'écarter du score, en traçant le motif.

Une traçabilité complète

Chaque score doit pouvoir être rejoué : version du modèle, données d'entrée, paramètres de décision applicables à la date du dossier. C'est la condition pour répondre à une réclamation ou à un contrôle plusieurs mois plus tard.

Le cas particulier des modèles mutualisés

Un modèle entraîné sur les données de plusieurs organisations pose une question spécifique : comment expliquer un signal issu de ce qu'un autre acteur a observé, sans révéler ses données ? En expliquant le schéma plutôt que la source : le signal indique quels éléments du dossier courant le rapprochent de cas déjà associés à une fraude ou à un défaut.

C'est l'approche que décrit Cirkles dans son livre blanc, qui part d'un constat : un score qui ne s'explique pas n'est ni contestable par le client, ni défendable devant un régulateur, ni exploitable par un analyste. Cirkles s'appuie sur les valeurs de Shapley (SHAP), dont les contributions s'additionnent pour reconstituer exactement le score, complétées d'approximations locales. L'analyste reçoit la liste ordonnée des signaux, le poids de chacun, la source de la donnée et les pièces à vérifier en priorité. L'explicabilité n'est pas ajoutée après coup : c'est une contrainte de sélection des modèles.

Le même document précise la frontière du partage : entre membres du réseau ne circule que la qualification d'une entité comme frauduleuse, jamais le dossier qui l'a établie ni les données du client qui l'a signalée. Les seuils d'investigation relèvent d'un arbitrage explicite du client et ne sont jamais modifiés par la plateforme seule.

Ces éléments ne remplacent pas l'analyse du déployeur, qui qualifie son usage, organise le contrôle humain et répond aux clients ; ils conditionnent sa capacité à le faire.

Feuille de route pour les directions risques et conformité

Six étapes pour poser les bases :

1. Cartographiez vos usages. Listez chaque modèle et la décision qu'il alimente : détection de fraude, octroi, tarification, recouvrement.
2. Qualifiez-les. Pour chaque usage, déterminez avec vos juristes s'il relève de l'article 22 du RGPD et de l'annexe III de l'AI Act.
3. Fixez un niveau d'explication par destinataire. Analyste, validation, audit, client : le contenu et le format ne sont pas les mêmes.
4. Exigez-le de vos fournisseurs. Explications locales, documentation et historique des versions figurent dans le contrat.
5. Testez. Prenez dix dossiers refusés et vérifiez que vous pouvez produire, en moins d'une journée, une explication exacte et compréhensible pour chacun.
6. Préparez les réponses aux clients. Modèles de courrier, circuit de réexamen humain, délais de traitement.