Gouverner l’IA : un cadre pour les entreprises

De nouveaux pouvoirs, de nouvelles responsabilités

Autrefois, on étudiait un processus, ses données d’entrée et ses résultats, puis on écrivait le code pour l’automatiser. Créer ce logiciel revenait à inscrire de la propriété intellectuelle sous forme numérique : une tâche cognitive, jusqu’ici essentiellement humaine. Aujourd’hui, l’IA écrit son propre logiciel, extrait le signal du bruit et découvre elle-même les règles. Elle prend en charge ce travail cognitif qui consiste à représenter le monde en code. Elle bouleverse à la fois ce que nous pouvons automatiser et l’échelle à laquelle nous pouvons le déployer. Cette portée nouvelle nous donne de nouvelles responsabilités : veiller à ce que l’IA poursuive les bons objectifs.

L’IA moderne peut repérer des tendances, classer des objets, prendre des décisions et évaluer les résultats. Elle apprend et s’adapte à de nouvelles situations grâce aux boucles de rétroaction. C’est un logiciel remarquable. Plus besoin de payer quelqu’un pour analyser, puis quelqu’un pour programmer, puis quelqu’un pour valider, avant de constater que le résultat n’est pas celui attendu et de revenir modifier le logiciel. Ce cycle peut prendre des années dans les grandes organisations. Un processus bien conçu, alimenté par l’intelligence artificielle, peut le réaliser en quelques jours : se reprogrammer, déployer les changements et vérifier s’ils font réellement avancer les choses dans la direction souhaitée, avec une précision et une vitesse dépassant les capacités humaines. C’est puissant. Et menaçant.

Cette nouvelle approche introduit des risques à une échelle inédite dans les organisations. On programme le système en lui montrant des exemples de données, plutôt qu’en l’écrivant ou en le modifiant soi-même. Pour l’instant, les conséquences sont peu surveillées, car la gouvernance des données se limite à la qualité, à l’intégrité et à la sécurité des données elles-mêmes. La gouvernance de l’IA examine plus largement les signaux contenus dans les données et les résultats qu’ils produisent.

Là où les données soutenaient des processus dirigés par des humains, l’IA exécutera parfois ces processus dix fois mieux ou plus vite, créant des situations inédites. Même sous le seul angle de la valeur, cela peut poser problème. Si vous devenez extrêmement efficace pour vendre à un segment précis de consommateurs, vous risquez de vous y enfermer et d’oublier le reste du marché. Votre modèle voit-il l’ensemble du problème?

Les responsables de ces nouveaux systèmes d’information doivent se concentrer sur trois aspects :

1. Définir précisément le problème et les objectifs que l’agent doit résoudre, ainsi que les résultats qu’il doit rechercher. Cela comprend les bons indicateurs de performance, la propriété intellectuelle à extraire — connaissances, modèles du monde, etc. — et les différents degrés de propriété à répartir entre l’utilisateur et le fournisseur.

2. Organiser les boucles de rétroaction qui alimentent l’apprentissage et l’amélioration du modèle, de la collecte des données brutes à l’interprétation des résultats et à leur mise en relation avec les connaissances produites par d’autres systèmes intelligents.

3. Évaluer les risques et tous les points où le système d’agents peut échouer. Comment le modèle s’évaluera-t-il à chaque étape du processus? Comment surveillez-vous le système automatisé pour vérifier qu’il fait ce qu’il doit faire?

Il est assez simple d’apprendre à l’IA les fonctions élémentaires d’une voiture. Le défi consiste à les assurer dans tous les contextes possibles : état changeant de la route, mauvais temps, piétons, etc. Programmer avec des exemples de données réduit fortement les coûts, mais l’application exige encore beaucoup d’ingéniosité humaine. La gestion des systèmes d’IA consistera de plus en plus à vérifier si l’IA tient compte de l’ensemble de la situation. Les cadres de gouvernance servent précisément à gérer la création de valeur et les risques.

Voici donc le cadre de gouvernance que je propose pour que l’IA inspire confiance à l’intérieur comme à l’extérieur de l’organisation* :

Niveaux d’autonomie

0. Déconnecté

Certaines activités de votre organisation sont inconnues de l’IA. Votre évaluation des risques doit envisager que même ces activités puissent finir par être connectées. Par exemple, un système d’IA pourrait analyser des notes manuscrites datant de dix ans ou d’anciennes vidéos d’un magasin pour en extraire des informations utiles.

1. Observation

L’observation est une application élémentaire de l’IA : recueillir et classer l’information qui alimentera d’autres processus. Qu’observe-t-elle? À quoi prête-t-elle attention et qu’ignore-t-elle? À quels processus sa collecte d’information est-elle reliée? Par exemple, un agent qui regarde un match de hockey et enregistre automatiquement les statistiques, y compris celles qu’un humain ne peut voir, comme la force d’une mise en échec.

2. Conseil

Le conseil consiste à proposer sans agir. Les conseillers d’IA peuvent néanmoins exercer une forte influence, notamment grâce à ce que nous savons des incitations comportementales. Imaginez que je donne une présentation et qu’une caméra analyse le langage corporel du public pour détecter l’ennui. Elle peut m’indiquer ce qui plaît ou déplaît et quand il serait temps de tenter une autre blague.

3. Collaboration

À ce stade, la machine ne peut pas encore automatiser entièrement une situation, mais elle peut accomplir l’essentiel du travail. Dans le traitement des réclamations d’assurance, par exemple, l’automatisation peut atteindre 60 ou 70 %. Un agent d’IA réalise alors beaucoup de tâches, tandis qu’un humain reste pleinement dans la boucle du processus pour traiter et analyser les 30 % restants.

4. Autonomie

Lorsqu’un agent est entièrement autonome, les choses se passent trop vite pour qu’un humain intervienne dans la boucle. L’interaction consiste à ajuster le système, surveiller les résultats et fournir une rétroaction. C’est déjà largement le cas en cybersécurité ou dans le trading automatisé à haute fréquence : les machines prennent seules un nombre immense de décisions, à une vitesse qui dépasse toute supervision humaine détaillée.

La classification de ces niveaux variera selon les organisations, mais elle en couvre les grandes lignes.

Un cadre de gouvernance de l’IA pour les entreprises

Voici ce que j’entends par chacune des catégories ci-dessous. Chaque organisation devra définir ses propres principes généraux pour ces volets, puis les appliquer à chacun de ses agents afin d’établir des règles adaptées à chaque situation. Pour chaque agent, j’ajouterais son rôle, les exigences de déploiement, les risques à surveiller et les paramètres de modèles de gouvernance adversariaux, conçus pour mettre le système à l’épreuve. Il faut aussi préciser les liens avec la gouvernance d’entreprise existante, notamment en matière de données et d’éthique.

Performance

L’IA doit tenir ses promesses : fonctionner correctement et répondre aux attentes. Seule une IA dont la performance est prévisible et précise pourra inspirer confiance dans les résultats qu’elle livre.

Exactitude

L’exactitude désigne le degré de confiance d’une IA et sa capacité à classer correctement des données, puis à produire les bonnes prévisions, recommandations ou décisions à partir de ces données et de leur classement. Elle est relative : il faut déterminer le niveau adapté à votre entreprise ou à votre produit dans un contexte donné. Une exactitude de 70 % est très bonne pour prévoir, minute par minute, les appels d’un centre d’appels. Elle est mauvaise pour prévoir les ventes hebdomadaires d’une épicerie.

Biais

Les biais entrent dans les systèmes de multiples façons et ne peuvent jamais être entièrement éliminés. Toute collecte de données comporte un biais, une intention ou une vision de ce qui compte. On peut souvent retirer les biais indésirables dès la collecte. Puisque les données restent toujours porteuses de biais, il faut aussi les prendre en compte et les maîtriser dans le modèle. Il faut éviter qu’ils s’accumulent au point de produire un résultat nuisible à l’entreprise. Selon l’application et le contexte, plusieurs moyens permettent de les contrer, dont la diversification des jeux de données et des entrées, ainsi qu’une bonne description des sous-objectifs.

Complétude

La complétude est étroitement liée à l’équité, mais concerne davantage l’absence d’information utile que les résultats discriminatoires. Une IA incomplète manque de certaines entrées qui lui permettraient de bien accomplir sa tâche : par exemple, une application qui prévoit les embouteillages sans tenir compte de la météo. C’est un aspect déterminant pour choisir le degré d’autonomie approprié.

Sécurité

Pour préserver sa performance, l’IA doit assurer la sécurité de ses processus, de ses données et de ses résultats. Une IA qui prend des décisions ne doit pas être compromise par des données adversariales, des scénarios imprévus, des influences extérieures ou d’autres manipulations qui pourraient nuire à ses décisions.

Adaptabilité

Il s’agit de la capacité de l’IA à gérer des situations changeantes. Si j’introduis un produit ou qu’un concurrent ouvre ses portes, les prévisions restent-elles fiables, de même que les décisions d’ajustement des effectifs? Une IA suffisamment adaptable peut servir le même usage dans de nouvelles situations. Le volume et la diversité des situations rencontrées avant le déploiement peuvent aider à fixer un seuil pertinent. L’ensemble des cas limites à présenter au modèle s’élargira avec le temps; il faudra les intégrer régulièrement à l’entraînement.

Robustesse face aux attaques

Une forme particulière d’adaptabilité concerne les agents, humains ou artificiels, qui tentent de corrompre le modèle. C’est essentiellement l’objet de la cybersécurité. En exposant l’IA à diverses situations et à des agents aux objectifs malveillants, ou simplement divergents, une organisation peut anticiper les attaques avant qu’elles ne surviennent après le déploiement.

Vie privée

La vie privée doit être garantie à chaque interaction avec l’utilisateur. Cela comprend toutes les informations qu’il fournit et toutes celles produites à son sujet au fil de ses interactions avec l’IA.

Captation de propriété intellectuelle

Les droits de propriété intellectuelle sont au cœur du modèle d’affaires de nombreuses organisations qui développent l’IA. Les paramètres de captation de cette propriété intellectuelle doivent être reliés à la valeur qu’elle crée pour l’entreprise, afin de recueillir les bons éléments. Ils doivent aussi préciser qui possède quoi. Ces droits doivent être clairement répartis entre fournisseurs, employés, organisations et utilisateurs finaux. La « bonne » répartition dépend du contexte. Elle suppose de s’entendre sur la maîtrise et la propriété des données, deux notions qui ne font pas encore consensus. Avec le RGPD, ces choix devront aussi être de plus en plus explicités publiquement.

Utilisateurs concernés

Une fois ces droits définis, toute organisation utilisant l’IA doit comprendre comment les informations sont exploitées et touchent les différentes catégories d’utilisateurs. Retracer les flux de données — leur provenance et leur destination — et leurs usages à l’intérieur comme à l’extérieur de l’organisation est essentiel pour garantir la vie privée. Des mécanismes doivent permettre aux utilisateurs d’emporter leurs données ailleurs, par la portabilité, ou de les effacer, grâce au droit à l’oubli.

Transparence

Ces efforts ne créeront de la confiance que s’ils sont bien communiqués. Sans transparence sur les valeurs, les processus et les résultats, cette confiance restera limitée.

Explicabilité

Le but de l’explicabilité ne devrait pas être d’exposer tous les mécanismes techniques internes des algorithmes qui produisent un résultat, mais d’expliquer pourquoi les normes pertinentes sont respectées ou non. Une voiture autonome heurte un petit poteau qu’elle n’a pas vu. Pourquoi? Parce que ses capteurs ne peuvent pas traiter le revêtement réfléchissant de sa peinture. Le détail du traitement des données par l’IA importe peu ici. L’explication utile est celle qui permet de comprendre l’accident, puis d’ajuster le système, immédiatement par l’utilisateur ou ensuite par ses superviseurs.

Intention

Une organisation qui développe une IA devrait consigner ses intentions et les étayer par des normes fondées sur des valeurs souhaitables, comme les droits de la personne, la transparence et la prévention des préjudices. Cela impose une conception réfléchie. Expliciter l’intention permet aussi à l’utilisateur, interne ou externe, de comprendre comment l’outil doit être utilisé. Un mauvais usage peut compromettre toutes les autres précautions prévues dans ce cadre.

Quelques dernières pistes de réflexion

Si vous voulez déployer l’IA à grande échelle, la gouvernance ne peut pas venir après coup. Elle doit faire partie de la stratégie et être bien documentée. Je crois qu’elle se construira à travers la réalisation de différents projets, en collaboration avec les unités d’affaires, dès la définition du problème et de la solution. La responsabilité ultime revient toutefois à la personne responsable des systèmes informatiques de l’organisation, qui doit la définir clairement pour tous.

Reddition de comptes

Même avec les meilleures précautions, des problèmes surviendront. Une bonne gouvernance de l’IA doit prévoir des mécanismes de reddition de comptes, dont le choix peut varier selon les objectifs : indemnisation financière, notamment par une assurance sans égard à la faute; recherche des fautes; ou réconciliation sans compensation financière. Ce choix dépend aussi de la nature et de l’importance de l’activité, ainsi que du degré d’autonomie en jeu. Une erreur de lecture d’une demande de remboursement de médicaments, suivie d’un refus injustifié, peut être compensée financièrement. Dans un cas de discrimination, en revanche, une explication et des excuses peuvent être au moins aussi importantes.

Éthique et gouvernance d’entreprise

La collaboration avec les instances de gouvernance de l’entreprise est essentielle, car c’est de là que viennent ses orientations éthiques. L’IA permet en effet des actions qu’il serait difficile, voire impossible, de faire réaliser par des employés. Vous pouvez appeler chacun de vos clients avec un robot aimable, à la voix très humaine et aux recommandations augmentées par l’IA, sans révéler qu’il s’agit d’un robot. Le feriez-vous? C’est une sacrée prouesse technique, mais elle pose des questions éthiques qui ne sautent pas immédiatement aux yeux. L’équipe technique ne peut pas décider seule de l’éthique qui fonde le cadre de gouvernance : ces choix sont subjectifs. L’instance de gouvernance aura probablement besoin de son propre comité d’éthique, si elle n’en a pas déjà un, pour y répondre.

Gouvernance augmentée

Je ne pense pas que la gouvernance de l’IA puisse fonctionner sans être elle-même augmentée par l’IA. Elle aura probablement besoin de son propre essaim d’agents adversariaux, chargés de tester et de mettre à l’épreuve l’infrastructure et les systèmes. J’y vois la prochaine génération de réglementation : une présence continue qui surveille la robustesse dans tous les volets de la gouvernance. Ces agents pourront exiger des explications sur les décisions, mesurer les biais et évaluer la complétude de façon indépendante. Les instances de gouvernance de l’entreprise et les auditeurs externes pourront en utiliser des versions distinctes. Déployés dans les organisations, ces agents serviront à la fois de tests unitaires et de tests de résistance permanents, allant jusqu’à faire respecter les obligations de reddition de comptes.

Bien sûr, il faut d’abord mettre ce cadre en place. Intégrez ces considérations au développement de vos agents et prenez l’habitude d’en partager les résultats dans votre organisation et avec vos utilisateurs. Vous y gagnerez des modèles plus puissants, moins de pièges réglementaires et davantage de confiance de la part de tous les utilisateurs.

—

*Si vous suivez mon blogue, vous vous demandez peut-être quel est le lien avec PEST pour une bonne IA spécialisée. J’ai conçu le présent cadre pour offrir aux organisations une évaluation plus détaillée. PEST reste à mon avis un ensemble de lignes directrices pertinent et efficace pour réfléchir à la création de systèmes auxquels le public peut se fier. Le cadre de gouvernance de l’IA reprend beaucoup de ces idées.

Vous pouvez aussi retrouver ces articles sur Medium et LinkedIn.