Pourquoi ton Internet est biaisé (et comment y remédier)

[Gargamelle]

Pour suivre ce que vous dites @Tzig0ne et @MissMachine , je trouve aussi qu'on commence un peu à appeler tout et n'importe quoi "Intelligence Artificielle". J'avoue ne pas connaitre la définition exacte du terme, mais j'associe le terme avec la notion d'apprentissage. Du coup le raccourci "algorithme" = "IA" me gène beaucoup. Mais il n'empêche tout de même que les deux (IA ou algorithme) peuvent être biaisés.

Si on reprends l'exemple de parcoursup (après tout il est tellement populaire), l'algorithme global a été publié, mais c'est loin d'être le cas, à ma connaissance, des versions locales à chaque établissement. Et c'est là que le biais le plus important peut être attendu : chaque établissement peut paramétrer son algorithme comme il veut, adapter les pondérations à apporter à chaque critère. Ce qui veut dire qu'un établissement peut tout à fait décider, par exemple, de monter l'importance du lieu d'où vient le candidat, ce qui aurait une forte probabilité de privilégier certains lieux géographiques par rapport à d'autres. Avant parcoursup (mes souvenir ont 15 ans donc si je dis des bêtises dsl), on avait bien avant la notion de sectorisation, mais elle avait le mérite d'être (hors magouille et arrangement) claire et globale : votre secteur vous assurait une place dans certaines formations en accord avec votre cursus. Je simplifie complément mais les règles sont faciles à comprendre pour un néophyte en informatique. Aujourd'hui, il faut comprendre l'algorithme global (le document officiel est dispo, c'est par là) et en plus arriver à accéder aux paramètres de l'établissement (et si vous avez plusieurs choix, combinez pour plusieurs établissements, bonne chance ). Pour un néophyte ça me parait bien complexe (alors qu'en soit l'algorithme est simple).
Du coup non seulement le biais est différent par établissement, mais en plus il n'est pas libre d'accès.

Pour le cas des IA, le problème est différent, c'est celui l'entrainement. Une IA apprends avec des données, et celles-ci sont en règle générales produites par notre bonne vieille société ! Donc forcément, notre IA sera colorée par nos bon vieux travers. L'exemple des IA qui tweetent virant "nazi" est un exemple criant du problème : l'IA, et donc nous qui l'utilisons, sommes intimement liés aux données d'apprentissage. Dans un monde où on ne sait pas comment éviter les fake news, où on n'arrive pas toujours à discerner si une image est vrai ou non, je vous laisse imaginer ce que ça peut donner. De plus, autant les algorithmes simples comme parcoursup on peut prédire leur résultats pour peut qu'on ait toutes les informations, autant pour l'IA je ne vois pas comment prédire son comportement. Et c'est ce que je trouve le plus flippant (et on ne parlera même pas de ce qui se passe en Chine en ce moment). Je vais ajouter le livre de "Cathy O'Neil" dans ma liste, ça m'a l'air fort intéressant.

 

[Tzig0ne]

Mmmmmh... Je ne suis pas tout à fait d'accord avec toi, je pense que tu sous-estimes les domaines d'application de l'IA (ou plutôt, des algorithmes de machine-learning, puisque c'est de ça qu'il s'agit).(...)

En fait, dans les exemples de domaines d'application de l'IA donnés par @Marie, à part le domaine de l'éducation où effectivement je n'ai jamais entendu parler d'utilisation de l'IA pour sélectionner les candidats, tous les autres domaines l'utilisent à un niveau ou un autre. Du coup je suis un peu étonnée que tu dises que ces exemples ne sont pas pertinents. Ou alors j'ai mal compris où tu voulais en venir ?

My bad je me suis un peu emballée, y avait effectivement un tri à faire sur les domaines cités
(Ce que j'ai mis comme quote n'est pas de Marie, mais une citation du livre sur lequel elle a appuyé en partie son article - si j'ai bien compris).

Autant les algorithmes simples comme parcoursup on peut prédire leur résultats pour peut qu'on ait toutes les informations, autant pour l'IA je ne vois pas comment prédire son comportement. Et c'est ce que je trouve le plus flippant (et on ne parlera même pas de ce qui se passe en Chine en ce moment). Je vais ajouter le livre de "Cathy O'Neil" dans ma liste, ça m'a l'air fort intéressant.

Dans le genre trucs flippants qui va continuer de faire des ravages sur la population, bien plus froid et destructeur que les problématiques de réseaux sociaux... on a la finance.
Ou certains algo tournent avec plusieurs transactions à la seconde, sur la base d'étude du marché en direct, ET avec du ML par dessus pour analyser en permanence quel placement a été fructueux, à quelle période, selon quels paramètres, comment appliquer ce schéma à d'autres domaines, etc etc...

Y a tellement de couches de maths avancés que les personnes capables de comprendre vraiment comment ça fonctionne doivent littéralement se compter sur les doigts d'une main.
Et encore, s'il y en a.

Pour tout ce qui est recommandation de résultats (FB, pub, google...), on a en réalité le même micro-pouvoir que partout : notre pouvoir de consommateur.
Parce que malgré la bonne volonté, de bonne foi ou de façade, des géants du web, la seule donnée qui a réellement un impact sur ce que renvoi les algo, c'est l'argent.

Si demain le monde qui rapporte est matriarcal, je doute que les boards de FB, Amazon et Google se concertent pour faire entrer dans les algo que la discrimination c'est pas bien : ils vendront du contenu matriarcat, c'est tout.