Noise : Pourquoi nous faisons des erreurs de jugement et comment les éviter

En prenant l’exemple de la justice aux États-Unis, et en s’appuyant sur des travaux de chercheurs, Daniel Kahneman, Olivier Sibony et Cass Sunstein montrent que dans un même cas, les juges peuvent prononcer des peines très différentes. Certes juger est un art difficile parce que le monde est compliqué et incertain, et ces erreurs peuvent également être effectuées par les médecins, les juges, les infirmières, les avocats, les architectes, les producteurs de cinéma, les cabinets de recrutement, etc. L’erreur de jugement est inévitablement liée à la nature formelle du jugement. La première chose est, avec une certaine humilité, de prendre conscience de l’existence de ce bruit, de réaliser un « audit du bruit ».

Daniel Kahneman, Olivier Sibony et Cass Sunstein évoquent le bruit systémique, soit la variabilité indésirable des jugements dans un système où opèrent des juges multiples qui jugent des cas multiples. Et ce bruit systémique se décompose entre un bruit de niveau et un bruit de pattern :

• Le bruit de niveau est la part du bruit systémique due aux différences dans les niveaux moyens de jugements. C’est donc la variabilité du niveau moyen des jugements produits par des juges différents sur un ensemble de cas.
• Le bruit de pattern est la part du bruit systémique qui est due à la variabilité dans les réactions des juges à des cas particuliers, indépendamment du niveau moyen de leurs jugements (chacun a ainsi un motif propre, un pattern de jugement individuel).

Par ailleurs, peut intervenir un bruit occasionnel, soit la part du bruit de pattern qui provient des variations intra-individuelles entre occasions de jugement (« les juges peuvent ne pas être d’accord avec eux-mêmes »), dues à l’environnement de jugement (par exemple lorsqu’un même juge peut émettre des jugements différents en fonction du jour de la semaine ou même à différentes heures de la journée en fonction de l’humeur ou des affects !) Mais ce bruit occasionnel reste en tout état de cause mineur dans le bruit systémique : « vous n’êtes pas toujours la même personne (…) mais si cette variabilité vous inquiète, un autre constat un autre constat pourra peut-être vous rassurer : vous ressemblez quand même davantage à la personne que vous étiez hier qu’à une autre personne aujourd’hui ».

Même dans un groupe de juges réunis autour d’une table, les erreurs de jugement sont à l’œuvre : le bruit est cumulatif, et la facilité à trouver un consensus peut même créer une illusion dangereuse d’accord. Il faut se méfier de la sagesse des foules ! En raison de « cascades informationnelles », un premier jugement dans un groupe peut ainsi influencer tous les autres dans un sens ou dans un autre, et créer du bruit. Dans le cas d’un recrutement d’un collaborateur par une entreprise, par exemple : « quand on n’est pas sûr de la personne à recruter, il n’est pas forcément idiot de suivre l’avis des autres » …Mais cette pression sociale peut être mauvaise conseillère si l’on surestime la pertinence de l’avis des autres, qui eux-mêmes négligent le bruit, et conduire à des jugements polarisés.

Les bais cognitifs conduisent également à des erreurs de jugement : les auteurs distinguent les biais statistiques qui sont la moyenne des erreurs (par exemple dans le jugement d’un cas unique, la moyenne des erreurs de jugement d’un ensemble de juges) et les biais psychologiques (soit les erreurs de jugement produites par une heuristique de jugement, lorsque l’on simplifie à l’excès certaines situations). Daniel Kahneman, Olivier Sibony et Cass Sunstein identifient trois types de biais :

• Les biais de substitution qui produisent une pondération erronée des données d’un problème considéré ;
• Les biais de conclusion qui nous conduisent soit à court-circuiter l’évaluation des données disponibles, soit à les traiter de manière erronée ;
•  L’excès de cohérence qui accentue l’effet d’une même impression et limite par excès de confiance l’impact des informations qui contredisent cette impression ;

Ces biais sont des mécanismes mentaux universels et ils produisent souvent des erreurs partagées. Le bruit qu’ils génèrent est lié par exemple au fait que nous sommes différents les uns des autres avec une certaine stabilité, en fonction de nos histoires, nos préférences, etc.

Mais qu’est-ce qui nous donne le sentiment que notre jugement est juste, ou au moins assez juste pour que nous formulions une réponse ? La thèse des auteurs est que ce moment est lié à un « signal intérieur », qui commande la fin de l’opération de jugement et ne dépend d’aucune validation externe. Il s’agit d’un sentiment de cohérence qui existe en nous et qui conduit à stabiliser notre jugement, malgré sa part de subjectivité et donc de bruit ! Mais cette confiance que l’on a éprouvé dans la qualité de son jugement est souvent une illusion : une « illusion de validité ! » Ce qu’il faut donc, c’est essayer de trouver le meilleur processus de jugement, celui qui serait susceptible de minimiser les erreurs sur un ensemble de cas similaires.

Daniel Kahneman, Olivier Sibony et Cass Sunstein distinguent dans leur analyse

• Les jugements prédictifs (recruter un nouveau collaborateur, calculer une police d’assurance, évaluer la demande pour un nouveau produit que l’on s’apprête à lancer sur le marché, etc.)
• Les jugements évaluatifs (condamner un criminel, corriger une copie, etc.)

Tous ces jugements sont sujets au bruit systémique facteur d’incohérence, « et toute incohérence porte atteinte à la crédibilité du système ». Hélas, « la plupart du temps nous restons sourds au bruit dans le jugement ». Dans le cas des jugements prédictifs, l’incertitude irréductible (ce qu’il est impossible de savoir) et l’information imparfaite (ce qui pourrait être connu mais ne l’est pas) se conjuguent pour rendre illusoire l’idée d’une prédiction parfaite. Les auteurs citent en exemple le cas des experts politiques parfois trop sûrs d’eux, alors que la prédiction en matière de résultats d’une élection devrait plutôt incliner à la modestie, tant et si bien que, pour reprendre la formule du psychologue Philip Tetlock, « l’expert moyen est à peu près aussi précis qu’un chimpanzé qui joue aux fléchettes ». Et le déni de l’ignorance est d’autant plus tentant que l’ignorance est grande…

Pourlutter contre le bruit, Daniel Kahneman, Olivier Sibony et Cass Sunstein plaident pour une « hygiène de la décision » dans les organisations, car « l’amélioration du jugement humain est une tâche plus urgente que jamais ». Ils critiquent déjà la décision solitaire dans les organisations par un leader charismatique omniscient qui inspire la confiance : « quand l’objectif est de produire de bons jugements et de réduire les erreurs, mieux vaut que le chef (et tous ceux qui l’entourent) reste ouvert à des contre-arguments et soit pleinement conscient qu’il peut se tromper. S’il se montre résolu et déterminé, ce doit être au terme d’un processus de décision, pas au début ». En s’inspirant de titres de films d’Alfred Hitchcock, ils estiment « qu’un bon décideur devrait toujours essayer de conserver l’ombre d’un doute, pour ne pas être l’homme qui en savait trop ». Ils préconisent de désigner un observateur de la décision, sorte de spectateur impartial du déroulé du jugement chargé d’identifier en temps réel les biais psychologiques, et de séquencer au maximum la décision et l’information disponible, avec des jugements indépendants des personnes impliquées dans le processus. Selon eux, il faut faciliter et agréger des jugements à la fois indépendants et divers pour garantir cette hygiène de la décision. Mais cela ne peut suffire. Il convient de fixer des règles simples et des directives qui, tout en laissant une certaine liberté de jugement, codifient la décision, à l’instar du domaine médical, et limitent les risques d’erreur de jugement.

Certes les stratégies de réduction du bruit peuvent engendrer des dépenses supplémentaires pour les organisations, mais ils plaident pour l’application rationnelle du calcul coût/bénéfices : si les coûts de la réduction du bruit restent inférieurs aux bénéfices engendrés par une meilleure décision, alors il faut déployer les moyens adéquats. Et notamment utiliser plus souvent les algorithmes, qui bien calibrés, de manière à éviter les biais de discrimination entre les groupes sociaux, obtiennent dans bien des cas de meilleurs résultats que le jugement humain : « même si, dans un monde incertain, un algorithme prédictif ne peut jamais être parfait, il peut être beaucoup moins imparfait que le jugement humain, qui est toujours sujet au bruit et au jugement biaisé ».

La difficulté est que dans une organisation, les profils originaux, la diversité sociale, et la variabilité des jugements peuvent être très utiles, car l’anticonformisme est souvent le moteur de l’innovation. Mais lorsque cela produit du bruit systémique, il faut s’organiser pour en réduire les effets nocifs, et faire un audit du bruit. Le bruit zéro est un objectif sans doute impossible à atteindre dans les organisations, mais viser un bruit optimal peut être une finalité raisonnable, car le bruit est une source d’erreurs et d’injustices, et « cela permettrait d’économiser beaucoup d’argent, d’améliorer la santé publique, de rendre la justice plus équitable, et de manière générale de prévenir de nombreuses erreurs évitables ».

Dès qu’il y a jugement, il y a bruit. Quand deux médecins posent des diagnostics différents pour le même patient, quand deux juges attribuent des peines plus ou moins lourdes pour le même crime, quand deux responsables de ressources humaines prennent des décisions opposées à propos d’un candidat à un poste, nous sommes face au bruit.

Daniel Kahneman, Olivier Sibony et Cass R. Sunstein montrent dans ce livre que le bruit exerce des effets nocifs dans de nombreux domaines : médecine, justice, protection de l’enfance, prévision économique, recrutement, police scientifique, stratégie d’entreprise… Pourtant, le bruit reste méconnu. Il est la face cachée de l’erreur de jugement. Noise nous propose des solutions simples et immédiatement opérationnelles pour réduire le bruit dans nos jugements et prendre de meilleures décisions.

• Daniel Kahneman est spécialiste de psychologie cognitive et d’économie comportementale, professeur émérite à Princeton et prix Nobel d’économie. Il est l’auteur de Système 1/Système 2. Les deux vitesses de la pensée.
• Olivier Sibony est professeur à HEC Paris et associate fellow de la Saïd Business School (Université d’Oxford), où il enseigne la stratégie et la prise de décision. Il est l’auteur de Vous allez commettre une terrible erreur !
• Cass R. Sunstein est professeur de droit à Harvard. Il a également été directeur des affaires réglementaires au sein de l’administration Obama de 2009 à 2012. Il est l’auteur avec Richard Thaler de Nudge. Comment inspirer la bonne décision.