fabernovel loader

11 avril 2017 | 5 min de lecture

Cultures

Weapons of Math Destruction - fiche de lecture

Tom Morisse

Research Manager


FABERNOVEL
Cathy O'Neil explore tour à tour les algorithmes utilisés dans l'éducation, la publicité, la justice, la finance, l'assurance, le recrutement, le travail... Si à chaque fois leurs auteurs pensaient que les modèles statistiques règleraient les problèmes de biais (ex : le banquier qui il y a 60 ans accordait un prêt "à la gueule du client"), ces modèles n'en sont pas exempts, bien au contraire ils peuvent même mieux les masquer.

Une Weapon of Math Destruction a 3 caractéristiques :

  • Opacité (ex : chez un prêteur en ligne, tu ne sais pas quelles données ils utilisent, ou / ni comment elles sont prises en compte dans le score)
  • Echelle (ex : un candidat qui avait souffert de troubles psychologiques 2 ans auparavant était rejeté dans toutes ses recherches de job étudiant en supermarché, le test de personnalité utilisé étant le même dans toutes les entreprises)
  • Dommages (ex : les « prédateurs » que sont les universités for-profit ne font en général qu’endetter leurs étudiants, sans meilleures perspectives sur le marché du travail – étudiants finement ciblés par de la publicité qui vise les publics les plus fragiles)

Problèmes des WMD :

  • Les profits dégagés sont pris pour de la validation de la vérité des modèles
  • Ne jamais oublier que dans un modèle, les données qu’on laisse de côté sont tout aussi importantes que celles que l’on inclut.
    • Ex : dans le grand classement des universités du US News & World Report, il n’y a jamais eu de prise en compte du coût de la scolarité. donc les présidents ont intérêt à optimiser les critères en faisant exploser les frais.
  • Les proxies (pas d’équivalent en français ; variables indirectes mobilisées pour approximer un comportement) fortement contestables.
    1. Parfois trop éloignés, pour ne pas dire sans rapport, avec le comportement que l’on cherche à prédire, et donc risque d’effets pervers en conséquence (ex : utilisation du credit score dans le recrutement, pour sa corrélation avec le « sens des responsabilités » en général ; sauf que ce score est corrélé à la fortune, et la fortune à la couleur de peau. Aussi on rejette fréquemment les candidats pauvres et de couleur.) L’auteur emploie l’expression de « phrénologie numérique« , c’est bien trouvé.
    2. Jugent les personnes plus pour ce qu’elles sont ou d’où elles viennent plus que pour leurs actes individuels (ex : algorithme de détection des risques de récidive qui demande aux prisonniers s’ils connaissent des gens qui ont commis des crimes ; mais on ne peut par leur reprocher d’avoir grandi là où ils ont grandi. L’auteur renchérit que pour juger du délit en premier lieu, le tribunal jugerait irrecevables de tels points de données, parce qu’ils n’ont rien à voir avec l’accusé considéré individuellement).
  • On accorde toujours le bénéfice du doute aux modèles, et par contre on demande des tonnes de preuves aux humains qui en viennent à contester les failles. 2 poids, 2 mesures.

Effets pervers des WMD :

  • Incitations à tricher pour maximiser certaines variables (ex : les scandales d’enseignants qui falsifient les tests de leurs élèves).
  • Création d’un écosystème d’intermédiaires au mieux sans intérêt (ex : tous les coaches en candidatures universitaires aux Etats-Unis, qui font juste du reverse-engineering des modèles de sélection des universités), au pire véreux (ex : tous les générateurs de leads pour universités privées, aux pratiques douteuses)
  • Un modèle est censé être amélioré par la mesure de son efficacité – le fameux feedback. Or les modèles finissent souvent par générer leurs propres bulles, leurs réalités à part (ex : quand un test de personnalité éjecte un candidat, personne ne s’amuse à aller voir s’il a obtenu de bons résultats dans son nouveau poste).
  • Cercles vicieux (ex : optimisation à la dernière minute des plannings dans la grande distribution, qui empêche ceux qui le souhaiteraient de reprendre leurs études).

Grandes conséquences :

  • Les riches deviennent plus riches, les pauvres plus pauvres.
  • La divergence que souligne O’Neil est également de l’ordre du traitement numérique : « The privileged are processed more by people, the masses by machines. » « In the world of WMDs, privacy is increasingly a luxury that only the wealthy can afford.« 

Solutions préconisées :

  • « Serment d’Hippocrate » pour les data scientists
  • Mesurer les coûts cachés des WMD pour l’économie
  • Bien inclure certaines valeurs dans les modèles (ex : viser une représentation minimum pour les minorités)
  • Auditer les modèles pour mesurer leur justice (ex : robots qui créent de multiples profils et mesurent les résultats ; campagnes de crowdsourcing pour voir les variations de traitement entre utilisateurs différents)
  • Abandonner les modèles, ou les sources de données, qui aboutissent à des injustices
  • Imposer que chacun soit informé quand un score de crédit est utilisé, et de demander quelles informations ont été utilisées pour le calculer, afin éventuellement de les corriger
  • Etendre la régulation à d’autres types de test comme les tests de personnalité, comme ça l’est pour la non-utilisation de tests médicaux pour étudier une candidature
  • Opt-in généralisé pour la collecte de données utilisateurs

Commentaires

La seule critique que je ferais à l’auteur est d’avoir au final une vision très positive de l’utilisation des données (« solutionniste » diraient certains) : elle dit de temps en temps qu’on pourrait renverser les WMD et les utiliser pour de bonnes causes – elle défend la carotte contre ce qu’elle dénonce comme un bâton.
Mais on pourrait à mon avis tomber sur des effets pervers : si l’on distribue une aide à un foyer plutôt qu’un autre via un modèle, ne pourrait-on pas voir le second comme une victime ?
Je propose autre chose : réhabilitons les idées neuves, les valeurs, la discussion des grands principes que nous nous donnons comme société. Ce sont eux qui peuvent nous rapprocher de l’optimum global, à l’inverse de l’optimum local que l’on recherche avidement avec force modèles et algorithmes. Après tout, on ne lance pas de start-up après avoir fait tourner des algos, mais en partant de problèmes ressentis éminemment qualis – quitte à optimiser les solutions après, bien sûr.
Je gobais les discours des fintechs sur le score FICO (ex : « il juge mal ceux qui n’ont pas d’historique bancaire alors qu’ils peuvent avoir un grand potentiel, à l’image d’un étudiant de grande université »), mais O’Neil rappelle toutes ses qualités, à ne pas oublier sous les pesanteurs perçues :
  1. Il est uniquement fait de données pertinentes et individuelles (en gros, est-ce qu’une personne a l’habitude de rembourser ou pas, paye ses factures à l’heure etc., pas le nombre d’amis qu’il a sur Facebook)…
  2. …et chacun peut demander à voir son score FICO et à modifier des infos erronées le cas échéant.
Je pense que, pour les algorithmes (et on rejoint les discussions autour de l’IA), nul besoin de se gratter la tête pendant 107 ans en se demandant comme on peut réguler. L’arsenal, on l’a déjà, parce qu’on sait collectivement les comportements que l’on juge néfastes (ex : discriminations, distorsion de concurrence…).
Il suffit « juste » d’ajuster la régulation à l’ère du numérique en :
  1. Mesurant de manière systématique et régulière les effets des algorithmes (après tout, comment savoir si un modèle discrimine si on ne le mesure pas)
  2. Responsabilisant pénalement les entreprises « gestionnaires » de leurs modèles. Je ne suis pas bien au fait de la loi, mais je ne suis pas sûr qu’elle soit adaptée, jaugeant sans doute pour un délit ou crime l’intention de l’auteur. Les algorithmes sont certes sans intention, et leurs effets délétères en général non voulus, mais ce n’est pas une excuse pour dédouaner les auteurs. A eux de tester, de réfléchir en profondeur à leurs hypothèses, de vérifier que les données utilisées sont bien en rapport avec l’objectif recherché… et ne pas hésiter à faire l’impasse en cas de doute.

Vous voulez en savoir plus sur l'éthique des algorithmes ?

Contactez-nous !
logo business unit

FABERNOVEL

Distribute the future. Connect leaders. Change the game. We ignite ventures and transform organizations for the new economy.

à lire