Grand angle 5 : Les algorithmes dans la sphère économique et sociale (avec Vie publique)

Citation : 

« Certains critères discriminatoires peuvent être pris en compte par l’algorithme dans un contexte particulier, comme l’âge pour le prêt bancaire, l’état de santé pour l’assurance ou encore le lieu de résidence pour moduler les primes. »

Reformulation :

Dans certains cas, les algorithmes insèrent dans le codage des critères discriminants connus et assumés.

Recherche :

Les banques imposent délibérément des taux d'intérêt différents en fonction de l'âge du créancier par exemple : est-ce légal ? Est-ce discriminatoire ?

Points de vigilance : privilégier les sites officiels et non pas commerciaux   (banques ou assurances notamment). 

Explicitation :

SES : La discrimination peut être établie en raison du recours à un critère d’âge injustifié au regard du bien demandé.

Maths : Les algorithmes utilisés par les banques intègrent le critère de l'âge pour restreindre l'octroi d'un crédit en fonction de la somme demandée, de sa durée de remboursement, de l'état de santé du créancier.

à Les banques appliquent en effet des conditions différentes aux emprunteurs en fonction de leur âge : elles peuvent refuser un crédit à une personne plus âgée en raison d’un risque de mortalité plus élevé à mesure que l’âge augmente. Selon la question posée par un député à la secrétaire d’État chargée des aînés en 2010, cela NE peut constituer une discrimination en droit si la décision est justifiée par le montant du prêt sollicité et les risques pris par l’organisme de crédit.

Nuance : Toutefois, une décision du Défenseur des Droits datant du 29 mars 2018 recommande à un établissement de crédit de réparer le préjudice subi auprès d’un client suite à un refus d’octroyer un crédit à dix ans en raison de son âge (66 ans).

Référence : Décision du Défenseur des droits du 29 mars 2018.

Conclusion :

Les algorithmes utilisés par les banques et assurances sont-ils discriminatoires ?

Non, ils discriminent, séparent deux clients en tenant compte non seulement des revenus et capacités de remboursement mais aussi de l’état de santé et de l’âge du client. Mais ils ne peuvent être considérés comme discriminatoires tant qu’ils demeurent valables au regard de l’analyse du risque financier pour une entreprise. Les conditions de crédit peuvent être moins avantageuses si on est âgé de 85 ans, si on a un emploi précaire, etc.

Ces pratiques de sélection sont-elles contraires à la loi ?

La réponse est plus nuancée.

Non, s’agissant d’un secteur économique soumis à l’aléa moral, il induit le recours à des moyens de réduction de l’asymétrie d’information en segmentant la clientèle.

Toutefois, l’accès à un service, le crédit comme tout autre activité économique, ne peut être soumis à un critère d’âge sans justification. Autrement dit : on ne peut systématiquement refuser un crédit à une personne au-delà ou en-deçà d’un certain âge. Des abus et décisions arbitraires peuvent être indiqués et corrigés, notamment par le Défenseur des droits.  

La pénétration des algorithmes dans la police : après les États-Unis, quels usages en France dans la lutte contre la délinquance ?

Bilel Benbouzid analyse les origines de la police prédictive dans le système du Compstat (la contraction de la formule « Computerized Statistics »), l’innovation managériale mise en œuvre à New York dans les années 1990 visant à améliorer l’efficacité d’une police qui se doit d’être plus proactive que réactive.

L’histoire de la catégorie de predictive policing est présentée comme la mise en algorithme successive de deux grands principes du Compstat : connaître la délinquance et évaluer la performance. Au début des années 2000, les machines apparaissent d’abord comme des systèmes d’information géographique en ligne (web mapping) permettant aux agents de terrain d’accéder n’importe où et n’importe quand à l’information statistique en vue d’une adaptation des stratégies policières aux évolutions de tel ou tel type de crime. C’est à partir de 2010 que le vocabulaire de la prédiction fait son apparition. Les machines deviennent alors un moyen de rationaliser le travail policier et le support de l’évaluation de la performance des patrouilles. Analysé à partir des cas du développement des plateformes Hunchlab et Predpol¹, la police prédictive est le récit d’une bifurcation : d’un logiciel statistique construit au sein du système d’information de la police cherchant à aider les policiers à explorer des hypothèses et des intuitions, on passe à un style de machine prédictive qui pilote l’activité des agents et distribue de la sécurité sur le territoire, selon de multiples critères de coûts et de justice sociale. La prédiction n’apparaît plus comme une technologie de projection de l’avenir, mais comme le vecteur d’une multitude de métriques de gestion pour doser le temps de patrouille et réguler la quantité de contrôle policier dans la population. Hunchlab et Predpol sont des machines à produire des normes quantitatives permettant de superviser les temps de patrouille, distribuer de la sécurité sur le territoire et corriger les comportements de la police pour protéger la population des contrôles abusifs que garantit le Quatrième amendement². Prédire pour gouverner, c’est intégrer des règles d’action dans le paramétrage des machines, plaçant dans le calcul la clé de l’harmonie sociale.

Source : Bilel BENBOUZID, « Quand prédire, c’est gérer. La police prédictive aux États-Unis », Réseaux, La Découverte, n° 211, 2018.

(1) Predpol est une start-up américaine, la plus célèbre en matière de police prédictive, qui commercialise une plateforme d’analyse prédictive, téléchargeable sur une simple application, prenant la forme d’un tableau de bord diffusant en temps réel les risques d’occurrence des crimes avec une précision de l’ordre de 200 mètres.

(2) Le IV^e amendement à la Constitution des États-Unis d’Amérique protège contre des perquisitions et saisies non motivées et requiert un mandat (et une sérieuse justification) pour toute perquisition.

Aux États-Unis, la police prédictive s’inscrit dans un projet ancien de réforme de la police par la recherche qui vise à créer une police de proaction, plus préventive qu’urgentiste, qui intervient de son propre chef, sans être mobilisée par l’appel des citoyens. (…).

Si la start-up californienne Predpol apparaît comme une référence dans le domaine de la police prédictive, c’est grâce à son principal slogan publicitaire : « More Than Hotspot Tool ». Predpol ferait mieux que les cartes du crime classiques grâce à une méthode prédictive utilisée dans le domaine de la prédiction des tremblements de terre. Une similarité observée par les chercheurs de Los Angeles entre la dynamique de propagation des crimes et celle des séismes laisse alors espérer que le crime serait, enfin, fongible dans les mathématiques. (…) Les chercheurs de Predpol débutent leur recherche avec une hypothèse classique en matière d’analyse prédictive du crime : le crime ne se produit pas par hasard, il se concentre dans l’espace et se diffuse de proche en proche. La structure répétitive des événements eux-mêmes suffit à modéliser le phénomène (sans avoir recours à des variables externes) : le meilleur prédicteur d’un crime à venir est un crime passé. (…) La formule ci-dessous est la représentation mathématique de ce processus et, partant, de l’algorithme de prédiction utilisé par Marsan¹ et Predpol. Elle calcule une probabilité qui est, pour ainsi dire, une idéalisation de la moyenne des crimes ou des séismes sur une surface :

Dans cette équation, la probabilité d’occurrence d’un événement, à un instant donné du processus, est une contribution à un calcul de l’intensité du risque par unité de surface et par unité de temps. Dans le langage des statisticiens, on dit que cette équation « décrit un processus inhomogène de Poisson d’intensité λ (x, y, t) ». (…)

Dans les politiques de prédiction du crime, la plateforme Predpol fonctionne comme un outil de gestion de l’action policière. Les études de Predpol ont montré qu’en passant seulement 5 % de leur temps disponible dans les zones identifiées par l’algorithme, les patrouilles de police sont deux fois plus efficaces que lorsqu’elles patrouillent dans les points chauds classiquement identifiés par les analystes. L’exactitude de ce que prétend Predpol n’a pas beaucoup d’importance. Ce qui compte, c’est de pouvoir optimiser et surtout contrôler avec précision ce temps de présence tactique dans l’espace à risques. (…) Predpol apparaît comme un bon outil pour s’assurer que les policiers font bien leur travail préventif, souvent par leur simple présence dissuasive, distribuée de manière aléatoire, mais pendant une durée optimisée, dans les zones où le risque est estimé le plus haut. L’enjeu de la prédiction est de gérer l’offre publique de vigilance quotidienne, en minimisant le changement dans l’organisation policière. (…) Predpol donne le sentiment à la police de travailler dans un monde plus prévisible, mais rares sont les situations où les policiers peuvent observer en direct le passage à l’acte des criminels, même lorsqu’ils se font discrets en civil sur les zones indiquées avec une précision de 200 mètres. Dès lors, comment Predpol peut-il prétendre « prédire » le crime ? (…) Le problème n’est pas de croire ou de ne pas croire dans la prédiction, mais de faire quelque chose plutôt que rien, en suivant les recommandations de la machine. (…) il s’agit d’évaluer les conséquences sur le très court terme, sans jamais tester la significativité statistique des réductions mesurées au regard des tendances générales du crime sur le temps long.

Source : Bilel Benbouzid, « Des crimes et des séismes. La police prédictive entre science, technique et divination », Réseaux, La Découverte, n° 206, 2017.

(1) David Marsan est un sismologue français, professeur de science de la terre à l’Université de Savoie, qui a mis au point un algorithme, source d’inspiration des mathématiciens de la start-up américaine Predpol.

Recruter grâce aux algorithmes : quels risques, quelles opportunités ?

Il est difficile de ne pas reconnaître que les technologies d’IA permettent d’obtenir des performances sans commune mesure avec celles réalisées à l’aide de leurs homologues informatiques classiques. Néanmoins, il est également indéniable que la façon dont elles résolvent les problèmes est bien plus difficile à comprendre que la simple application d’algorithmes conventionnels. (…)

Après avoir réussi à faire entrer dans un ordinateur ce qu’il savait calculer grâce à des équations, puis la connaissance qu’il pouvait formaliser par des enchaînements logiques, les chercheurs en informatique se sont employés à lui confier des tâches qu’ils savaient accomplir mais pour lesquelles ils étaient incapables d’expliquer comment ils les menaient à bien. C’est le principe de l’apprentissage machine⁽¹⁾ : cette fois il ne s’agit plus de montrer à l’ordinateur les procédures à suivre ou les règles à respecter mais seulement des exemples de ce qu’il doit faire sur quelques cas et lui laisser généraliser à d’autres cas que ceux sur lesquels il a été formé.

L’IA est capable d’aller d’un point de départ (le problème posé) jusqu’au point d’arrivée (la réponse au problème posé) sans qu’on lui ait indiqué au départ les étapes à parcourir pour les relier. (…) Le principe de la mécanique interne qui permet au programme de trouver la bonne solution est connu, mais sa mise en œuvre est parfois si compliquée qu’elle en devient incompréhensible pour l’être humain. Il est alors difficile de faire confiance au système. (…) La capacité à expliquer son raisonnement n’est pas inhérente à l’IA. Pendant longtemps, son unique objectif a été de trouver une solution ; peu importait la façon dont elle y parvenait. Tant qu’il s’agissait de battre un champion du monde aux échecs (…), tous les coups étaient permis. Mais quand l’IA commence à prendre des décisions plus critiques (faut-il opérer ce malade ? cet accusé est-il coupable ? cet élève doit-il aller en classe préparatoire ou en IUT ?), les personnes concernées et celles qui vont valider les résultats issus de la machine voudraient être sûres d’en avoir compris les raisons. (…) Le raisonnement des systèmes à base d’apprentissage, et notamment des réseaux de neurones, et, quasiment, par nature, inexplicable. C’est bien leur raisonnement, et non leur fonctionnement, qui nous est inaccessible. (…) la raison de la prise de décision est difficilement explicable : savons-nous pourquoi nous estimons qu’une photo est celle d’un homme ou d’une femme, sans les repères des bijoux, du maquillage et autres coupes de cheveux ? Si nous le savions, nous aurions recours aux règles. Comment donc s’attendre à ce qu’un système « mécanique » soit capable d’expliquer ce qu’un être humain n’est pas capable de faire ? (…)

Les réseaux de neurones privilégient la corrélation à la causalité. Ils sont dans la position de l’Indien météorologue d’une histoire drôle assez connue. Un cow-boy coupe du bois dans la forêt en prévision de l’hiver quand passe un Indien. Le cow-boy lui demande si l’hiver va être froid. L’Indien répond par l’affirmative. Le cow-boy coupe donc davantage de bois, et quand il revoit l’Indien, il lui repose la même question, et son interlocuteur lui donne la même réponse. Après deux ou trois échanges, le cow-boy, épuisé, demande à l’Indien comment il sait que l’hiver va être aussi rigoureux. L’Indien lui répond que quand le cow-boy coupe beaucoup de bois, c’est que l’hiver va être froid. Il s’est appuyé sur une corrélation issue de son expérience, pas sur une causalité issue de l’interprétation de signes météorologiques.

[Une autre fragilité des systèmes à base d’apprentissage] se trouve dans les biais d’apprentissage, (…) révélateurs de biais de notre société et de nos façons de vivre. Jusqu’à récemment, les systèmes de reconnaissance de personnes ne fonctionnaient pas avec les personnes de couleur car les bases d’apprentissage contenaient surtout des photos d’Occidentaux à la peau claire. La reconnaissance vocale ne marchait pas du tout avec des personnes âgées, alors que ce sont sans doute celles qui en auraient le plus besoin, parce que la très grande majorité des échantillons collectés par les différents systèmes commandés à la voix sont réalisés avec deux jeunes gens amateurs de technologie et rarement avec des personnes âgées. Ces points ont pu ou seront corrigés, mais d’autres poseront problème longtemps encore. C’est par exemple le cas des logiciels de traitement de CV. En s’appuyant sur le CV des collaborateurs qui ont donné satisfaction par le passé, le système d’IA est capable d’effectuer une première sélection parmi les milliers de CV reçus dans une grande entreprise. Le système reproduit les bonnes raisons ayant abouti à ce choix mais aussi certaines mauvaises : si par le passé, plus d’hommes que de femmes ont été recrutés, le système veillera à reproduire cette proportion. La base d’apprentissage est alors biaisée. L’IA pourra être accusée de pratiquer une discrimination, mais elle ne fera que reproduire les comportements passés. L’IA n’est pas équipée pour la disruption². (…) Supprimer toute trace du sexe dans le CV d’une personne s’avère beaucoup plus compliqué qu’on ne le croit. Le même type de problème se pose avec les origines ; supprimer la photo, le prénom, le nom ne suffit pas, il reste le lieu d’habitation, les établissements scolaires fréquentés, qui sont parfois des marqueurs aussi visibles qu’un nom à consonance étrangère.

La dernière grande faiblesse des systèmes à base d’apprentissage et la plus fondamentale : ceux-ci sont basés sur de l’apprentissage. Ils ne peuvent donc traiter que des situations comparables à ce qu’ils ont déjà vu.

Source : Rodolphe Gelin, Olivier Guilhem, L’Intelligence artificielle, avec ou contre nous ?, La documentation française, 2020.

(1) Aussi dénommé « machine learning ».

(2) Synonyme : rupture.

Entretien 2 : 3 questions à Rodolphe Gelin et Olivier Guilhem, auteurs de L’Intelligence artificielle, avec ou contre nous ?