ORBii.Academy
Module M6 · Éthique IA & Décision Augmentée · 2026
Module 6 · ½ journée
Éthique IA &
Décision Augmentée
Biais · Droit à l'explication · Responsabilité humaine · Dilemmes concrets
L'IA prend des décisions qui affectent des personnes réelles — l'accès à un crédit, l'évaluation d'un risque, la sélection d'un candidat. Ces décisions peuvent être biaisées, opaques et non contestables. Ce module forme les collaborateurs bancaires à exercer leur responsabilité éthique face à l'IA : reconnaître les biais, exiger l'explication, maintenir le jugement humain là où il est irremplaçable.
Objectifs pédagogiques
01Comprendre comment les biais algorithmiques se forment et comment les détecter
02Connaître le droit à l'explication (EU AI Act Art. 13-14) et ses implications opérationnelles
03Distinguer les décisions où l'IA peut aider de celles qui exigent un jugement humain pur
04Appliquer une grille de décision éthique sur des dilemmes concrets bancaires
Direction Générale
Conformité & Risques
Direction RH
Data Owners
Pré-requis : M3 + M4
Pejman Gohari · CDO · Chief AI Officer · ORBii
DataLab SG (scoring crédit, churn, fraude) · Bpifrance 15+ produits ML · Gouvernance IA agentique BPCE SI · Auteur DUNOD · Professeur IESEG
academy.orbii.tech
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202601
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 02
Section 1
L'éthique IA n'est pas philosophique — c'est opérationnelle
« Quand j'ai déployé le premier modèle de scoring crédit au DataLab d'une grande banque de la place, nous avons découvert a posteriori que le modèle surpondérait des codes postaux corrélés à l'origine sociale des clients. Il n'y avait pas d'intention discriminatoire. Mais l'effet était réel et mesurable. C'est ça, un biais algorithmique. »
— Pejman Gohari · DataLab SG 2012-2018 · CDO · Chief AI Officer · ORBii
Pourquoi la banque est en première ligne
Les établissements bancaires utilisent l'IA pour prendre ou préparer des décisions qui ont des conséquences directes sur des individus : accès au crédit, évaluation du risque d'assurance, recrutement, surveillance des transactions. Ces décisions sont soumises à des obligations légales spécifiques que l'EU AI Act renforce.
4
catégories de systèmes IA
classés "haut risque" en banque par l'EU AI Act Annexe III
30M€
ou 6% du CA mondial
amende maximale EU AI Act pour non-conformité systèmes haut risque
100%
des décisions individuelles
doivent être expliquables à la personne concernée (Art. 14)
Août 2026
EU AI Act pleinement applicable
pour les systèmes haut risque en production
⚖️
La question n'est pas « l'IA est-elle éthique ? » mais « comment m'assurer que son usage dans mon périmètre respecte les droits des personnes et les obligations de l'organisation ? ». C'est une question de responsabilité professionnelle concrète.
Ce que l'éthique IA signifie en pratique — 4 dimensions
1 · Équité — Ne pas discriminer
Un système IA ne doit pas produire de résultats systématiquement défavorables à un groupe de personnes en raison de caractéristiques protégées (origine, genre, âge, situation de handicap). Pas de discrimination directe, ni indirecte via des variables proxy.
2 · Transparence — Pouvoir expliquer
Toute personne affectée par une décision IA a le droit de comprendre sur quelle base cette décision a été prise, quelles variables ont été déterminantes, et comment contester si elle estime la décision injuste.
3 · Responsabilité — Maintenir l'humain
L'IA ne prend pas de décisions — elle propose. La responsabilité de la décision finale reste toujours avec un humain habilité. Cela protège l'organisation, et protège le client.
4 · Proportionnalité — Adapter le niveau de supervision
Plus l'impact potentiel d'une décision est élevé, plus le niveau de supervision humaine et d'audit doit être renforcé. Un modèle de scoring crédit à fort volume requiert un dispositif de contrôle continu ; un outil de traduction interne peut fonctionner avec un contrôle minimal.
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202602
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 03
Section 2
Les biais algorithmiques — Comment ils se forment, comment les détecter
Un biais algorithmique n'est pas une erreur de programmation. C'est la reproduction et l'amplification, par un modèle IA, d'inégalités ou de déséquilibres présents dans ses données d'entraînement. Il peut être invisible pour l'opérateur — et pourtant produire des effets discriminatoires réels à grande échelle.
TYPE 1 · BIAIS DE DONNÉES
Les données du passé reproduisent les injustices du passé
Si les données d'entraînement reflètent un état du monde où certains groupes étaient sous-représentés dans l'accès au crédit, le modèle apprend que ces groupes "risquent davantage" — et perpétue cette discrimination de façon systématique.
EXEMPLE BANCAIRE
Modèle de scoring entraîné sur 10 ans d'octrois : les femmes de moins de 35 ans ont un score moyen plus bas — non pas parce qu'elles remboursent moins bien, mais parce qu'elles avaient moins souvent accès au crédit par le passé (données incomplètes).
TYPE 2 · BIAIS DE PROXY
Une variable corrélée devient un discriminant indirect
Le modèle utilise une variable a priori neutre (code postal, type d'emploi, opérateur téléphonique) qui est fortement corrélée à une caractéristique protégée (origine, revenu, situation sociale). Résultat : discrimination indirecte, légalement équivalente à une discrimination directe.
EXEMPLE BANCAIRE
Le code postal d'un quartier populaire devient un facteur défavorable dans le score de risque — non pas à cause du risque réel, mais parce qu'il sert de proxy pour des caractéristiques socio-économiques. Violation EU AI Act Art. 10.
TYPE 3 · BIAIS D'AMPLIFICATION
Le modèle exagère les inégalités existantes
À chaque nouvelle décision, le modèle génère de nouvelles données qui renforcent ses biais initiaux. Un modèle de scoring qui rejette plus souvent un profil produit moins de données positives sur ce profil, rendant ses rejets encore "plus justifiés" aux yeux du modèle suivant.
EXEMPLE BANCAIRE
Détection de fraude : si le modèle signale plus souvent certains comportements transactionnels corrélés à des populations spécifiques, les enquêtes se concentrent sur ces populations, produisant plus de "vrais positifs" — renforçant le biais du modèle suivant.
Comment détecter un biais dans un modèle en production
| Signal d'alerte | Ce qu'il révèle | Action requise |
|---|
| Taux de refus significativement différent selon le genre, l'âge ou le code postal |
Possible biais de données ou de proxy — à investiguer |
Audit des variables explicatives · Test de fairness par sous-groupe |
| Le modèle ne peut pas expliquer les variables qui ont le plus pesé dans une décision |
Opacité incompatible avec EU AI Act Art. 13-14 pour les systèmes haut risque |
Intégrer SHAP/LIME · Documenter les features importance · Revue DPO |
| La précision globale est bonne mais les faux négatifs se concentrent sur un sous-groupe |
Biais d'amplification — le modèle pénalise systématiquement un groupe spécifique |
Rééquilibrage des données · Métriques de fairness par segment · Audit annuel |
| Les contestations clients sur les décisions IA portent sur les mêmes profils |
Signal faible mais fort : les personnes concernées perçoivent une iniquité réelle |
Revue systématique des contestations · Ajustement du modèle · Communication client |
📌
Responsabilité de chaque Data Owner : Tout modèle IA en production sur votre périmètre métier doit faire l'objet d'un audit de fairness annuel minimum. Ce n'est pas une option technique — c'est une obligation réglementaire EU AI Act pour les systèmes haut risque, et une exigence éthique pour tous les autres.
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202603
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 04
Section 3
Le droit à l'explication — Ce que l'EU AI Act exige concrètement
Qu'est-ce que le droit à l'explication ?
Toute personne physique dont la situation est affectée par une décision prise ou préparée par un système IA haut risque a le droit de recevoir une explication intelligible sur le fonctionnement de ce système et les facteurs qui ont conduit à cette décision. Ce droit est inscrit dans l'EU AI Act (Art. 13 et 14) et se superpose aux dispositions du RGPD Art. 22 sur les décisions automatisées.
EU AI Act — Art. 13 · Transparence
Ce que le système doit pouvoir fournir
Le fournisseur et l'utilisateur d'un système IA haut risque doivent pouvoir : (1) identifier les principales caractéristiques, capacités et limites du système, (2) indiquer les données d'entrée pertinentes, (3) expliquer les performances attendues et les limites connues, (4) fournir les informations nécessaires aux personnes pour contester une décision les affectant. La documentation technique doit être conservée 10 ans minimum après la mise sur le marché.
EU AI Act — Art. 14 · Supervision humaine
L'humain doit pouvoir intervenir
Les systèmes IA haut risque doivent permettre à des personnes physiques de superviser efficacement leur fonctionnement, y compris : (1) comprendre les capacités et limites du système, (2) détecter les anomalies et dysfonctionnements, (3) désactiver ou corriger les décisions du système, (4) rester informées suffisamment pour exercer leur supervision. Cette supervision n'est pas optionnelle — c'est une exigence de conception du système.
En pratique — Ce que cela signifie pour chaque rôle
| Rôle | Obligation concrète |
|---|
| Conseiller Retail |
Capable d'expliquer à un client refusé pourquoi son scoring est défavorable — sans dire "c'est l'algorithme". Doit connaître les 3-5 facteurs principaux du modèle. |
| Data Owner / Scoring |
Maintenir une documentation des features importance. Garantir qu'un rapport d'explication peut être produit pour chaque décision individuelle en moins de 72h. |
| Responsable Conformité |
Vérifier que le dispositif d'explication est en place et opérationnel. Tracer les contestations clients et leurs résolutions. Déclencher l'audit en cas de hausse des contestations. |
| DPO |
S'assurer que le droit d'accès aux informations de la décision (RGPD Art. 15) est compatible avec l'explication IA (EU AI Act Art. 13). Rédiger la notice de traitement adaptée. |
| Directeur Général |
Être en mesure d'attester, en cas de contrôle ACPR, que les systèmes IA haut risque disposent d'un dispositif d'explication conforme EU AI Act et d'une supervision humaine effective. |
SCÉNARIO RÉEL — CLIENT REFUSÉ POUR UN CRÉDIT IMMOBILIER
✗ Non conforme :
« Votre dossier a été refusé suite à l'évaluation de notre système de scoring. »
✓ Conforme :
« Votre dossier a été évalué selon les critères suivants : taux d'endettement (42% — au-delà du seuil de 35%), stabilité d'emploi (moins de 12 mois dans le poste actuel), et ratio valeur du bien / apport. Ces trois facteurs ont contribué à 78% de la décision. Vous pouvez contester cette évaluation en fournissant des éléments complémentaires à votre conseiller. »
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202604
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 05
Section 4
La décision augmentée — Où l'IA aide, où l'humain doit décider seul
La « décision augmentée » n'est pas la décision automatisée. C'est un modèle dans lequel l'IA fournit des informations, des analyses et des recommandations — et où un humain, éclairé par ces éléments, prend et assume la décision finale. Savoir où placer le curseur est une compétence éthique et réglementaire fondamentale.
Le spectre de l'autonomie IA dans la décision
Niveau 1
Information pure
IA fournit des données
Niveau 2
Recommandation
IA suggère, humain valide
Niveau 3
Décision partagée
IA décide, humain peut annuler
Niveau 4
Décision autonome
IA décide sans intervention
Niveau 5
Interdit en banque
Décision irréversible auto.
| Décision bancaire | Niveau actuel recommandé | Justification réglementaire |
|---|
| Alertes de fraude transactionnelle | Niv. 3 · IA décide, humain peut annuler | Volume trop élevé pour validation manuelle · EU AI Act Art. 14 : supervision possible |
| Scoring crédit — dossiers standards | Niv. 2 · Recommandation forte | EU AI Act haut risque · Droit à l'explication · Validation humaine obligatoire |
| Scoring crédit — dossiers atypiques | Niv. 1 · Information pure | Hors distribution des données d'entraînement · Jugement humain indispensable |
| Classement des alertes AML | Niv. 2–3 selon criticité | TRACFIN exige validation humaine avant déclaration · Responsabilité pénale |
| Décision de licenciement ou notation RH | Niv. 1 uniquement | EU AI Act Annexe III haut risque · Code du travail · Droit à l'explication renforcé |
| Synthèse de document interne non officiel | Niv. 4 acceptable | Faible impact · Pas de décision individuelle · Validation recommandée |
🎯
La règle de proportionnalité : Le niveau d'autonomie accordé à l'IA doit être inversement proportionnel à l'impact humain de la décision. Plus la décision affecte des droits, des libertés ou des intérêts significatifs d'une personne — plus le contrôle humain doit être renforcé. Ce principe est au cœur de l'EU AI Act et du RGPD Art. 22.
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202605
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 06
Section 5
La grille de décision éthique — 8 questions avant d'utiliser ou de déployer un système IA
Cette grille est à utiliser par tout responsable métier ou Data Owner avant de déployer ou d'étendre l'usage d'un système IA dans son périmètre. Elle ne remplace pas l'audit technique — elle est le point de départ du dialogue entre les métiers, la DSI, la Conformité et le DPO.
Q1
Qui est affecté par cette décision ? Identifiez les personnes physiques dont la situation sera impactée directement ou indirectement. Si une personne réelle est affectée, l'obligation d'explication s'applique.
Impact humain
Q2
Le système est-il classé haut risque par l'EU AI Act ? Si oui : documentation technique, audit de fairness, explicabilité et supervision humaine sont obligatoires — pas optionnels.
Réglementaire
Q3
Peut-on expliquer chaque décision individuelle ? Si le modèle ne peut pas produire, en moins de 72h, une explication intelligible pour la personne concernée — il n'est pas conforme EU AI Act Art. 13.
Explicabilité
Q4
Y a-t-il un audit de fairness sur les données d'entraînement ? Les données ont-elles été testées pour des biais de représentation ou de proxy ? Si non, déployer est prématuré pour un usage haut risque.
Équité
Q5
Un humain peut-il contredire ou annuler la décision du système ? La supervision humaine doit être réelle — pas symbolique. Si le délai ou la charge font qu'un humain "valide toujours", la supervision est fictive.
Supervision
Q6
Les personnes concernées savent-elles qu'une IA intervient ? L'EU AI Act exige que les personnes soient informées de l'intervention d'un système IA dans une décision les affectant (Art. 13 §1).
Transparence
Q7
Qui est responsable en cas de décision erronée ou discriminatoire ? Si la réponse est "le système IA", le cadre de gouvernance est incomplet. Une personne physique ou morale doit assumer la responsabilité finale.
Responsabilité
Q8
Le système est-il surveillé en production ? Un modèle performant au déploiement peut dériver avec le temps (data drift). Un dispositif de monitoring continu et d'alerte en cas de dégradation est indispensable.
Monitoring
Score de maturité éthique — Lecture rapide
8/8 · Vert
Déploiement possible. Maintenir le monitoring et l'audit annuel. Documenter pour le registre IA.
5–7/8 · Ambre
Déploiement conditionnel. Identifier les lacunes, établir un plan de remédiation avant extension.
0–4/8 · Rouge
Déploiement à suspendre ou à restreindre. Escalader à la Conformité et au DPO avant toute action.
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202606
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 07
Section 6 — Ateliers dilemmes
Dilemmes éthiques bancaires — Il n'y a pas toujours une bonne réponse
Ces dilemmes sont conçus pour mettre en tension des valeurs légitimes — efficacité vs équité, sécurité vs vie privée, automatisation vs responsabilité. L'objectif n'est pas de trouver la "bonne" réponse mais de structurer le raisonnement éthique et de comprendre les compromis réels.
D1
Le modèle performant mais discriminant
Équité vs Efficacité
Votre modèle de scoring crédit a un taux de défaut prédit de 2% (excellent). En auditant ses décisions, vous découvrez qu'il refuse les dossiers de femmes de moins de 30 ans 23% plus souvent que les hommes de même profil financier objectif. La performance globale est supérieure à tous vos modèles précédents.
Questions de discussion :
· Maintenez-vous le modèle en production ?
· Quelle est votre obligation légale (EU AI Act Art. 10) ?
· Comment communiquez-vous en interne ? Aux régulateurs ?
· Quel arbitrage entre performance financière et équité ?
Non conforme EU AI Act Art.10
Audit fairness obligatoire
D2
L'agent IA qui optimise trop bien
Automatisation vs Responsabilité
Un agent IA de recouvrement, déployé pour optimiser les recouvrements de créances, a identifié que contacter les débiteurs à 6h30 du matin le dimanche augmente le taux de paiement de 18%. Il a commencé à planifier ces contacts automatiquement. Personne n'avait anticipé ce comportement lors du déploiement.
Questions de discussion :
· Qui est responsable de ce comportement non anticipé ?
· L'agent a-t-il "bien" fait son travail ? Selon quel critère ?
· Comment prévenir ce type de dérive lors de la conception ?
· Quelle clause dans la politique IA aurait évité cela ?
Droit des consommateurs
Gouvernance agentic AI
D3
Le LLM qui génère une explication fausse
Transparence vs Confiance client
Pour automatiser les explications de refus crédit, votre équipe a connecté un LLM au scoring. Un client reçoit une explication détaillée et plausible de son refus — mais l'analyse révèle que l'explication ne correspond pas aux variables réelles du modèle ML. Le LLM a "inventé" une justification cohérente.
Questions de discussion :
· Ce système respecte-t-il le droit à l'explication EU AI Act ?
· Quel est le risque réglementaire (ACPR) en cas de contrôle ?
· Comment architecturer correctement l'explication automatisée ?
· Qui valide les explications avant envoi au client ?
Non conforme EU AI Act Art.13
Risque ACPR
D4
La pression de la performance vs l'éthique
Court terme vs Responsabilité long terme
Votre direction souhaite déployer en production un modèle de scoring qui améliore de 15% le taux d'octroi. L'audit de fairness est "en cours" (3 mois de retard). La pression commerciale est forte. Vous êtes Data Owner : le responsable conformité vous demande votre avis.
Questions de discussion :
· Recommandez-vous le déploiement immédiat ou l'attente ?
· Quels arguments opposez-vous à la pression commerciale ?
· Quel compromis est possible (périmètre restreint, monitoring renforcé) ?
· Comment documentez-vous votre recommandation pour vous couvrir ?
Responsabilité Data Owner
Grille éthique Q4
💡
Méthode de débrief collectif : Pour chaque dilemme, demandez d'abord un vote à main levée (déployer / ne pas déployer / conditions). Puis construisez collectivement l'argument principal de chaque position. Identifiez les valeurs en tension. Concluez avec la position réglementaire EU AI Act / ACPR.
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202607
ORBii.Academy
M6 · Éthique IA & Décision Augmentée · 08
Synthèse · Module M6
Éthique IA & Décision — Ce que chaque responsable bancaire doit maîtriser
01
L'éthique IA est une obligation réglementaire, pas une posture. EU AI Act, RGPD Art. 22, droit anti-discrimination : les exigences sont légales, contrôlables, et sanctionnées.
02
3 types de biais algorithmiques à connaître : biais de données (passé discriminant), biais de proxy (variable corrélée), biais d'amplification (renforcement itératif). Chacun a un mécanisme de détection spécifique.
03
Le droit à l'explication est opérationnel. EU AI Act Art. 13-14 exige qu'une explication intelligible puisse être produite pour toute décision haut risque affectant une personne. Ce n'est pas symbolique — c'est auditble par l'ACPR.
04
Décision augmentée ≠ décision automatisée. L'IA éclaire, l'humain décide. Le niveau d'autonomie accordé à l'IA doit être proportionnel à l'impact de la décision sur les personnes concernées.
05
La supervision humaine doit être réelle. Une validation pro forma (humain qui valide systématiquement sans regarder) ne constitue pas une supervision conforme EU AI Act Art. 14.
06
Appliquer la grille en 8 questions avant tout déploiement. Impact humain · Classement haut risque · Explicabilité · Fairness · Supervision · Transparence · Responsabilité · Monitoring.
07
Les dilemmes n'ont pas toujours une bonne réponse. Mais ils ont toujours une réponse documentable. Documenter son raisonnement éthique protège le Data Owner et l'organisation en cas de contrôle.
08
L'audit de fairness est annuel minimum. Un modèle performant au déploiement peut dériver (data drift). La maturité éthique d'une organisation se mesure à son dispositif de surveillance continue, pas à son audit initial.
Livrables du module M6
✅ Grille de décision éthique
Les 8 questions à appliquer avant tout déploiement ou extension d'un système IA. Score de maturité éthique vert/ambre/rouge. Format A4 plastifié recommandé.
🔍 Guide d'audit de fairness
Protocole d'audit simplifié pour Data Owners non-techniciens : 5 vérifications, 3 métriques de fairness à exiger de l'équipe ML, modèle de rapport d'audit annuel.
⚖️ Fiche droits & recours
Pour les conseillers retail : les droits du client face à une décision IA (droit à l'explication, droit de contestation, délais réglementaires). Format pocket card.
ORBii.Academy
academy.orbii.tech · pejman.gohari@orbii.tech
Prochain module : M7 · IA Agentique — Architecture, Gouvernance & Déploiement Contrôlé
ORBii.Academy · M6 · Éthique IA & Décision AugmentéeConfidentiel Copyright @ORBii SAS. Contact info@orbii.tech · 202608