Cette tribune est proposée par Eric Boniface, Directeur de Substra Foundation.

Elle a été publiée à l’origine sur Linkedin.

Je me suis régalé en lisant l'article "IA et éthique : CALMONS-NOUS", et je me dis qu'il y a une bonne conversation à alimenter et prolonger à partir de là, donc je me lance à partager quelques réflexions

Ça bouillonne pas mal autour de cette association de termes, "IA et éthique", et il y a déjà des articles comme The global landscape of AI ethics guidelines ou des repos comme Awesome AI guidelines qui comparent ou recensent plusieurs dizaines de "cadres éthiques" ! Quelques articles en passant, vus ces derniers jours / semaines :

• OneZero - There is no such things as an ethical AI

• ActuIA - Une IA éthique : mythe ou réalité ?

• Blog Raspberrypi - Can algorithms be unethical?

• Le rapport Etalab sur les enjeux d'éthique et de responsabilité des algorithmes publics

• Dans Le Monde aujourd'hui - L'Europe doit se doter d'un référentiel de l'éthique du numérique

Il semble y avoir pas mal de voix qui partagent l'idée que l'éthique n'est pas le bon angle d'attaque. En tant que "technologie" ou qu'ensemble de techniques et d'outils, comme beaucoup d'autres, la data science peut être utilisée pour faire de bonnes ou de mauvaises choses, et par ailleurs dans les règles de l'art ou n'importe comment (par exemple une des premières technologies, le feu - se réchauffer en hiver : bonne chose ; brûler l'abri du collègue : mauvaise chose ; sans allume-feu : dans les règles de l'art ; sans circonscrire le foyer : n'importe comment). Donc "calmons-nous" pour reprendre le titre de l’article point de départ de cette réflexion, pas de raison de focaliser sur "IA et éthique" là où en fait les questions éthiques sont celles de l'usage des technologies bien au-delà de l'IA en particulier.

Comme le sujet bouillonne et que ça ne risque pas de s'arrêter, plutôt que le subir, je me dis qu'il vaut peut-être mieux chercher un meilleur angle que "l'éthique de l'IA" pour aiguillonner le débat, chercher des points plus spécifiques à l'IA ou la data science. Et pour le coup il y a un angle qui me semble super important et pas assez mis en avant (peut-être parce qu'il n'est pas si important en fait ? commentez !). Jusque là, il me semble (?), les systèmes automatiques sur lesquels s'appuient les organisations fonctionnaient à partir de règles et critères explicites, discutés, décidés, ce qui permettait d'avoir une chaîne de responsabilité assez claire en cas de souci à l'usage (il y a sans doute beaucoup de contre-exemples, je pense aux prévisions météo, mais bon du coup la chaîne de responsabilité de la météo n'est pas géniale non plus...). Pour moi le point marquant est qu'on commence à mettre en production des prédicteurs dont les règles ont été "apprises", règles qui ne sont donc ni explicites ni décidées volontairement. Du coup la chaîne de responsabilité en prend un coup, et il y a de bons cas récents comme sur l'Apple Card ou sur COMPAS aux US.

À partir de ce point marquant, quand on déroule la pelote il y a des questions spécifiques et assez dures qui viennent. Des questions qui peuvent venir alimenter une réflexion autour de la responsabilité des organisations concernées, et de la confiance que l'on peut avoir dans l'usage de tels systèmes ou dans ces organisations :

• une espèce de notion de chaîne de responsabilité de bout-en-bout (data, train, eval, exploitation), de traçabilité / transmission et enrichissement de toute la "généalogie" d'un modèle appris, de manière à expliciter les "précautions d'emploi" ou les "conditions d'utilisation recommandées"

• les "fairness metrics" d'un modèle, en quelque sorte les définitions de justice ou d'équité que l'on souhaite implémenter et respecter dans différents domaines ou processus. C'est une question qui semble difficile, certaines métriques de fairness sont incompatibles entre elles. Toutes les organisations qui vont mettre en oeuvre, en prise avec l'extérieur, des systèmes automatiques basés sur des prédicteurs "appris" vont devoir s'y pencher. Peut-être que je vais trop loin, mais je parierais bien que des sujets d'histoire, de sociologie, de politique vont s'inviter dans pas mal réunions produit...

• le "niveau d'interprétabilité" qu'il est possible d'obtenir avec un modèle donné (sur une échelle allant d'une simple prédiction sans niveau de confiance à une "preuve" ?)

• ... ?

Est-ce que ça parle à certain(e)s ? Je suis très curieux de lire d'autres points de vue et d'en apprendre plus sur ces sujets passionnants. Au plaisir de l'échange !