L’alignement demande une infrastructure

En 2017, j’écrivais au sujet de quatre exigences pour une IA digne de confiance : la prévisibilité, l’explicabilité, la sécurité et la transparence. Le point de départ était une question pratique : avons-nous énoncé notre intention, et pouvons-nous déterminer si le système la met en œuvre ?

Quand un ingénieur délègue une tâche à un agent d’IA, sa demande repose sur des hypothèses concernant l’architecture, la sécurité, la qualité et les changements que l’agent est autorisé à apporter. Certaines sont documentées. D’autres sont enfouies dans des décisions antérieures, des commentaires de revue ou dans l’esprit de l’ingénieur.

Chaque fois que nous déléguons une tâche, nous déléguons aussi l’interprétation de ce que nous voulions dire.

Étendons maintenant le problème à un hôpital, à un établissement financier ou à un service gouvernemental, où plusieurs agents se transmettent du travail. Les exigences comprennent alors les droits des personnes touchées et les attentes auxquelles l’organisation doit répondre.

L’alignement dépend du système dans son ensemble. L’entraînement façonne le comportement du modèle ; le contexte, les autorisations et les contrôles façonnent ce qui se passe à l’usage. Au sein d’une organisation, il nous faut des moyens de conserver les décisions, de faire respecter les contraintes et de relier les résultats aux exigences d’origine. À l’échelle de la société, il nous faut des moyens communs de définir ces exigences et d’évaluer si les systèmes les respectent.

À mesure qu’une plus grande part du travail passe par l’IA, préserver ce lien entre l’intention et l’exécution devient une question d’infrastructure.

Les pouvoirs délégués changent la donne

Je m’attends à ce que les organisations continuent de recourir aux agents, parce que l’accomplissement d’un travail utile a une valeur considérable. Jusqu’où devraient-elles leur déléguer leur pouvoir d’action ?

Un agent de programmation qui travaille dans une branche isolée ne présente pas les mêmes risques qu’un agent disposant d’identifiants d’accès à l’environnement de production. Si on lui confie des ressources financières, une mémoire persistante et la capacité de déléguer à d’autres agents, l’évaluation change encore. Les capacités, les accès, la durée, le périmètre d’action et la réversibilité comptent tous.

Plus nous déléguons de pouvoirs, plus nous devons exiger des éléments probants solides.

Il faut notamment examiner le comportement du système lorsque les instructions se contredisent, que les outils tombent en panne ou qu’une situation sort du cadre des évaluations. Certaines contraintes peuvent être imposées par les autorisations et des contrôles déterministes. D’autres nécessitent des estimations du risque ou un jugement humain. Les conflits doivent être régis par des règles explicites qui précisent quelles exigences priment et qui peut trancher lorsqu’une exception se présente.

La supervision humaine doit aussi fonctionner dans les faits. Les personnes doivent avoir le temps, la visibilité et la possibilité d’interrompre le processus ou d’en modifier le résultat. Au rythme des machines, examiner chaque action devient irréaliste ; le système doit faire respecter des limites et repérer les décisions qui nécessitent un examen humain. Lorsque les éléments probants et les contrôles ne donnent pas suffisamment confiance, il faut pouvoir restreindre une capacité ou décider de ne pas l’accorder.

Comment savoir si le système fait ce que nous attendons de lui ?

Les évaluations de référence orientent ce que les développeurs cherchent à optimiser. Pour interpréter un score, il faut savoir quel système a été testé, ce qui constituait une réussite, dans quelles conditions et quel degré d’incertitude subsiste. Les outils, la mémoire, les autorisations et l’enchaînement des tâches peuvent modifier le comportement d’un agent. Les tests fournissent des éléments probants quant au respect d’exigences précises, dans des conditions définies ; une évaluation continue permet de voir dans quelle mesure ces constats restent valables à l’usage.

Une difficulté se pose lorsque les évaluations guident l’entraînement : ce que nous mesurons contribue à façonner ce que le système apprend à rechercher. Yoshua Bengio, avec qui j’ai cofondé Element AI, examine cette question dans Why are AI agents lying, cheating and coordinating?. Son hypothèse est qu’un objectif précis, comme réussir un test, peut entrer en conflit avec des attentes plus larges concernant les comportements acceptables.

Prenons un agent de programmation qui modifie un test pour qu’il valide du code défectueux. Si l’entraînement récompense ce résultat, il peut renforcer ce raccourci. Yoshua craint que des agents de plus en plus capables deviennent meilleurs pour exploiter ces écarts que nous ne le sommes pour les détecter. Ses travaux avec LawZero explorent une IA scientifique (« Scientist AI ») fondée sur la compréhension et la prédiction, notamment la possibilité d’évaluer les actions d’autres agents et de servir de fondement à des agents plus sûrs.

Pour quiconque propose davantage d’évaluations de référence, moi compris, la conséquence est claire : nous devons examiner ce qu’un test mesure, ce qu’encourage l’optimisation de ce résultat et à partir de quand les éléments probants qu’il fournit cessent d’être utiles.

Qui décide de ce qui est acceptable ?

Même une mesure fiable laisse une question essentielle ouverte : quel résultat sommes-nous prêts à accepter ?

Prenons le Canada. Le Conseil national de recherches du Canada (CNRC) a testé des modèles à l’aide de questions appariées en anglais et en français portant sur des sujets canadiens. Chaque modèle testé a répondu correctement à moins de questions en français. Cela met en évidence un écart. Déterminer le niveau de performance acceptable pour un service donné exige un jugement qui tient compte des personnes qui en dépendent et des conséquences d’une erreur.

Il faut faire le même travail dans les domaines qui nous importent collectivement : l’éducation, la santé, la langue, le handicap, la représentation et l’accès aux possibilités. Pour les biais, il faut préciser les comportements que nous évaluons, les écarts que nous sommes prêts à accepter dans ce contexte et les résultats qui devraient exclure un déploiement.

Nous ne pouvons pas demander à chaque entreprise de trancher ces questions au nom de la société. Même une entreprise qui les prend au sérieux a besoin d’expertise, de repères communs et de moyens d’évaluer si ses choix sont acceptables pour les personnes touchées. Laisser ce travail à chaque fournisseur donne à ses décisions internes une influence énorme sur les options offertes au reste de la société.

Les institutions publiques doivent définir les attentes au moyen de processus qui réunissent les spécialistes du domaine, les communautés concernées et l’industrie. Ces processus doivent respecter les lois et les droits applicables, rendre visibles les désaccords et expliquer la façon dont les arbitrages sont tranchés. Une évaluation de référence aide à mesurer un écart. Décider des mesures à prendre demeure une responsabilité publique et institutionnelle.

Si un résultat nous importe, nous devons investir dans notre capacité à l’évaluer.

Cela suppose un financement durable pour les évaluations de référence, les jeux de données, les méthodes d’évaluation, les tests indépendants et les personnes qualifiées pour en interpréter les résultats. J’aimerais que les institutions de recherche maintiennent cette capacité dans les domaines que la société juge importants, en commençant par ceux où les défaillances ont les conséquences les plus graves. Les communautés doivent continuer de participer à la formulation des questions et à la remise en cause des mesures. Les évaluations devront évoluer avec nos attentes et avec la technologie.

Des financements publics, du secteur privé et du milieu philanthropique pourraient soutenir cette base commune, tout en assurant son indépendance à l’égard des entreprises évaluées. Les entreprises financeraient la vérification de leurs propres produits et resteraient responsables de leur déploiement. Les petites équipes pourraient utiliser les ressources communes et apporter leurs constats en situation réelle.

Le Canada peut déjà s’appuyer sur les partenariats de recherche de l’Institut canadien de la sécurité de l’intelligence artificielle (ICSIA) et sur les travaux d’évaluation du CNRC. Nous devrions faire de cette capacité une composante durable de notre façon de développer et d’adopter l’IA.

Faire de l’alignement une condition d’achat

Il faut ensuite que ces éléments probants pèsent dans les décisions d’achat.

Imaginons un parent qui compare des outils de tutorat fondés sur l’IA et découvre que l’un d’eux détourne systématiquement les filles des matières techniques. Une instance scolaire pourrait s’appuyer sur ce constat pour exiger, avant l’achat, des éléments probants montrant que le produit d’un fournisseur traite les élèves de manière équitable. Les fournisseurs qui souhaitent remporter ce contrat auraient alors une raison de modifier leurs systèmes, de démontrer une amélioration et de poursuivre les vérifications après le déploiement.

Un employeur pourrait faire de même au moment de choisir un outil de recrutement. Si le simple changement du nom d’une personne faisait varier son classement, cela entrerait dans la décision d’achat, avec des conséquences sur les personnes convoquées en entrevue.

Lorsque, dans un territoire, les acheteurs font de la performance dans leurs langues et leur contexte une condition d’achat, les fournisseurs doivent y répondre pour obtenir ces marchés. Les fournisseurs ont alors une raison commerciale d’améliorer ce qui compte pour ces clients. Les évaluations communes peuvent aussi éclairer les exigences publiques en faveur des personnes dont le pouvoir d’achat est plus faible.

La crédibilité est essentielle ici. Les méthodes et les limites doivent pouvoir être examinées, tandis que certains cas de test restent protégés pour permettre d’évaluer la performance sur des questions inconnues du système. L’ICSIA voit un rôle pour des tiers impartiaux dans la conservation de ces tests protégés. Les comparaisons entre modèles aident les acheteurs à choisir un point de départ ; la vérification doit toujours porter sur le produit tel qu’il est configuré et sur son flux de travail réel.

Cela relie les attentes de la société à leur mise en œuvre. Les institutions aident à rendre les exigences concrètes et évaluables. Les acheteurs demandent des éléments probants. Les fournisseurs ont une raison de répondre à ces attentes et une base commune sur laquelle construire.

Rendre l’intention opérationnelle

Pour les ingénieurs, cela revient à suivre une exigence à travers tout le système : qui l’a définie, comment elle a été interprétée, ce qui a été testé et ce qui s’est passé pendant l’exécution. Lorsqu’un échec survient, sa correction doit éclairer les décisions et les vérifications à venir.

Dans une organisation, cela exige des connaissances tenues à jour, des contrôles et des retours d’expérience. Une infrastructure commune d’évaluation fournit à ce travail des repères ancrés dans les attentes des personnes qu’il touche.

L’alignement devient un processus continu pour rendre l’écart entre l’intention et le résultat visible, mesurable et corrigeable.

Ce qui me préoccupe, c’est que nous pouvons mettre de nouvelles capacités en service avant de disposer de moyens crédibles pour les évaluer. Concevoir des évaluations crédibles, établir les résultats acceptables et développer une capacité d’évaluation indépendante demande un travail soutenu. À mesure que nous déléguons des décisions plus lourdes de conséquences, nous pouvons de moins en moins nous permettre cet écart.

Nous ne pouvons pas espérer tirer les bénéfices de l’IA et maîtriser ses risques tout en laissant sans financement l’infrastructure nécessaire pour faire les deux. Si nous voulons que ces systèmes reflètent nos priorités, nous devons investir pour les définir, tester les systèmes au regard de ces priorités et agir en fonction des résultats. Les gouvernements, les institutions de recherche et l’industrie partagent cette responsabilité. L’investissement doit suivre le rythme des pouvoirs que nous confions à ces systèmes.

L’alignement demande une infrastructure. Il est temps de la financer à cette hauteur.