L’article du Daily Mail Snopes et la vérification des faits Les vérificateurs de faits

Hier après-midi, un collègue m’a transmis un article du Daily Mail en me demandant s’il était possible qu’il soit vrai. L’article en question est un exposé sur Snopes.com, le site de vérification des faits utilisé par les journalistes et les citoyens du monde entier et l’un des sites avec lesquels Facebook s’est récemment associé pour vérifier les faits des nouvelles sur sa plateforme. L’article du Daily Mail fait un certain nombre d’affirmations sur les principes et l’organisation du site, s’inspirant largement du déroulement d’un divorce litigieux entre les fondateurs du site et remettant en question la possibilité pour le site d’agir comme un arbitre fiable et neutre de la « vérité ». »

Lorsque j’ai parcouru pour la première fois l’article du Daily Mail, j’ai immédiatement soupçonné que l’histoire elle-même devait certainement être une « fake news » en raison de la façon dont les affirmations étaient dévastatrices et que, étant donné que Snopes.com était si fortement utilisé par la communauté journalistique, si l’une des affirmations était vraie, quelqu’un aurait déjà écrit à ce sujet et des entreprises comme Facebook ne seraient pas en partenariat avec elles. J’ai également noté qu’en dépit du fait qu’elle était en ligne depuis plusieurs heures, aucune autre grande chaîne d’information n’avait écrit sur cette histoire, ce qui est généralement un signe fort d’une histoire fausse ou trompeuse. Pourtant, dans le même temps, le Daily Mail semblait sourcer ses affirmations à partir d’une série d’e-mails et d’autres documents provenant d’une affaire judiciaire, dont certains ont été reproduits dans son article et, ce qui est peut-être le plus étrange, ni Snopes ni ses principes n’avaient publié une sorte de déclaration par le biais de son site Web ou de ses canaux de médias sociaux pour décliner l’histoire.

En surface, cela ressemblait à un cas classique de fake news – une histoire scandaleuse et très partageable, intégrant des matériaux et un sourcing d’apparence officielle, mais sans qu’aucun autre média grand public ne mentionne même l’histoire. J’ai moi-même dit à mon collègue que je ne savais tout simplement pas quoi penser. S’agissait-il d’une fabrication complète par une cible mécontente de Snopes ou était-ce vraiment un exposé explosif tirant le rideau sur l’une des marques de vérification des faits les plus respectées et les plus célèbres au monde ?

En fait, l’une de mes premières pensées à la lecture de l’article est que c’est précisément la façon dont la communauté des « fake news » riposterait à la vérification des faits – en diffusant au compte-gouttes des histoires explosives fausses ou trompeuses pour discréditer et mettre en doute les vérificateurs de faits.

Dans le monde du contre-espionnage, c’est ce qu’on appelle un « désert de miroirs » – créer un environnement d’information chaotique qui mélange si parfaitement la vérité, la demi-vérité et la fiction que même les meilleurs ne peuvent plus dire ce qui est réel et ce qui ne l’est pas.

C’est pourquoi, lorsque j’ai contacté David Mikkelson, le fondateur de Snopes, pour obtenir des commentaires, je m’attendais pleinement à ce qu’il réponde par un long courriel dans le format point par point caractéristique de Snopes, réfutant entièrement chacune des affirmations de l’article du Daily Mail et qualifiant l’ensemble de l’article de « fake news ». »

C’est donc avec une incroyable surprise que j’ai reçu la réponse d’une seule phrase de David, qui se lisait en entier : « Je serais heureux de parler avec vous, mais je ne peux aborder que certains aspects en général parce que les termes d’un accord de règlement contraignant m’empêchent de discuter des détails de mon divorce. »

Cela m’a absolument stupéfié. Voici l’une des organisations de vérification des faits les plus respectées au monde, bientôt arbitre ultime de la « vérité » sur Facebook, disant qu’elle ne peut pas répondre à une demande de vérification des faits en raison d’un accord de secret.

En bref, lorsque quelqu’un a tenté de vérifier les faits du vérificateur de faits, la réponse a été l’équivalent de « c’est secret. »

Il est impossible de sous-estimer à quel point cela est antithétique au monde de la vérification des faits, dans lequel l’ouverture et la transparence absolues sont des conditions préalables nécessaires à la confiance. Comment des organisations de vérification des faits comme Snopes peuvent-elles s’attendre à ce que le public leur accorde sa confiance si, lorsqu’elles sont elles-mêmes remises en question, leur réponse est qu’elles ne peuvent pas répondre.

Lorsque j’ai présenté une série de questions de clarification ultérieures à David, il a fourni des réponses à certaines et pas à d’autres. Fait particulièrement intéressant, lorsqu’il a été pressé sur les affirmations du Daily Mail selon lesquelles au moins un employé de Snopes a effectivement brigué un poste politique et que cela présente à tout le moins l’apparence d’un biais potentiel dans les vérifications de faits de Snopes, David a répondu : « Il est à peu près acquis que toute personne qui a déjà brigué (ou occupé) un poste politique l’a fait sous une forme ou une autre d’affiliation à un parti et a dit quelque chose de critique sur son ou ses adversaires et/ou d’autres politiciens à un moment donné. Cela signifie-t-il que toute personne qui s’est déjà présentée à un poste politique est manifestement inapte à être associée à une entreprise de vérification des faits, à quelque titre que ce soit ? »

C’est en fait une réponse fascinante à venir d’une organisation de vérification des faits qui se targue de sa prétendue neutralité. Pensez-y de cette façon – et s’il y avait une organisation de vérification des faits dont les vérificateurs de faits étaient tous tirés des rangs de Breitbart et Infowars ? La plupart des libéraux rejetteraient probablement une telle organisation comme étant partisane et biaisée. De même, une organisation dont les vérificateurs de faits seraient tous issus de Occupy Democrats et du Huffington Post pourrait être rejetée par les conservateurs comme étant partisane et partiale. En fait, lorsque j’ai demandé à plusieurs collègues ce qu’ils pensaient de cette question ce matin, la réponse unanime en retour était que les personnes ayant de forts penchants politiques autodéclarés d’un côté ou de l’autre ne devraient pas faire partie d’une organisation de vérification des faits et tous avaient supposé à tort que Snopes aurait eu le même sentiment et avait une politique générale contre le placement de personnes partisanes comme vérificateurs de faits.

En fait, c’est l’une des raisons pour lesquelles les organisations de vérification des faits doivent être transparentes et ouvertes. Si une organisation comme Snopes estime qu’il est correct d’embaucher des employés partisans qui se sont présentés à des fonctions publiques au nom d’un parti politique particulier et de les employer comme vérificateurs de faits là où ils ont une forte probabilité d’être invités à peser sur des éléments alignés ou contraires à leurs opinions, comment peut-on raisonnablement s’attendre à ce qu’ils agissent comme des arbitres neutres de la vérité ?

Dit autrement, certains républicains croient fermement que le changement climatique est un mensonge et que les humains ne sont en aucun cas responsables du changement climatique. Les membres de la communauté scientifique pourraient s’opposer à ce qu’un républicain hostile au changement climatique serve de vérificateur des faits pour les histoires de changement climatique sur Snopes et signale chaque article concernant une nouvelle étude scientifique sur le changement climatique comme une fausse nouvelle. Pourtant, nous n’avons aucun moyen de connaître les partis pris des vérificateurs de faits chez Snopes – nous devons simplement faire confiance au fait que les opinions du site sur ce qui constitue la neutralité sont les mêmes que les nôtres.

Lorsque j’ai demandé un commentaire sur les critères spécifiques détaillés que Snopes utilise pour sélectionner ses candidats et décider qui embaucher comme vérificateur de faits, étonnamment David a démenti, disant seulement que le site recherche des candidats dans tous les domaines et compétences. Il n’a en particulier fourni aucun détail sur le processus de sélection et la manière dont Snopes évalue les candidats potentiels. David n’a pas non plus répondu à d’autres courriels lui demandant si, dans le cadre du processus de sélection, Snopes fait vérifier les faits par les candidats sur un ensemble d’articles afin d’évaluer leurs compétences en matière de raisonnement et de recherche et d’avoir un aperçu de leur processus de réflexion.

Ceci était très inattendu, car j’avais supposé qu’un site de vérification des faits aussi réputé que Snopes aurait un processus d’évaluation formel écrit et détaillé pour les nouveaux vérificateurs de faits qui leur ferait effectuer un ensemble de vérifications des faits et inclurait une longue série de questions d’entretien conçues pour évaluer leur capacité à identifier les conflits d’intérêts potentiels ou perçus et à travailler sur les biais potentiels.

Plus étrange encore, bien qu’il ait demandé dans deux courriels distincts comment Snopes évalue ses vérificateurs de faits et s’il effectue des évaluations de fiabilité intra et inter-évaluateurs, David a seulement répondu que les vérificateurs de faits travaillent ensemble de manière collaborative et n’a pas répondu à d’autres demandes de détails supplémentaires et n’a pas répondu si Snopes utilise une sorte de notation d’évaluation ou un processus de test continu pour évaluer ses vérificateurs de faits.

Cela soulève des préoccupations exceptionnellement graves sur le fonctionnement interne de Snopes et pourquoi il n’est pas plus communicatif sur son processus d’évaluation. Argumenter que parce que plusieurs vérificateurs de faits pourraient travailler sur un article, la fiabilité n’est pas une préoccupation, est un faux argument qui montre un manque inquiétant de compréhension de la fiabilité et de l’exactitude. Imaginez une équipe de 50 fervents négationnistes du climat travaillant tous en collaboration pour démystifier une nouvelle étude scientifique montrant un lien évident entre la pollution industrielle et le changement climatique. La très grande taille de l’équipe ne compense pas le manque de diversité d’opinions. Pourtant, David n’a fourni aucun commentaire sur la façon dont Snopes force ou non explicitement la diversité d’opinions dans ses équipes de vérification des faits ad hoc.

Un flux de travail de notation humaine robuste doit régulièrement évaluer l’exactitude et la reproductibilité des notes générées par ses évaluateurs humains, même lorsqu’ils travaillent en collaboration. Typiquement, cela signifie que, sur une base régulière, chaque fact checker ou équipe de fact checkers reçoit le même article à fact checker et que les résultats sont comparés entre les groupes. Si une personne ou un groupe génère régulièrement des résultats différents de ceux des autres, cela est alors évalué afin de comprendre pourquoi. De même, on donne périodiquement à une personne ou à un groupe le même article ou un article presque identique datant de plusieurs mois pour voir s’ils lui donnent la même note que la dernière fois – cela permet d’évaluer s’ils sont cohérents dans leur notation.

Plus troublant est que nous ne savons tout simplement pas qui a contribué à une vérification des faits donnée. David a noté que le « processus de Snopes est un processus hautement collaboratif dans lequel plusieurs personnes différentes peuvent contribuer à un seul article », mais que « le résultat est généralement crédité à celui qui a écrit le projet initial. » David n’a pas répondu à une demande de commentaire sur la raison pour laquelle Snopes ne cite qu’un seul auteur pour chacune de ses vérifications de faits, plutôt que de fournir une section de remerciements qui énumère toutes les personnes qui ont contribué à une vérification de faits donnée.

On pourrait faire valoir que les journaux, de la même manière, ne reconnaissent pas leurs vérificateurs de faits dans la signature des articles. Pourtant, dans le flux de travail d’un journal, la vérification des faits intervient généralement comme une fonction éditoriale, en vérifiant deux fois ce qu’un journaliste a écrit. Chez Snopes, la vérification des faits est la fonction principale d’un article et, par conséquent, si plusieurs personnes ont contribué à la vérification des faits, il est surprenant qu’elles ne soient absolument pas mentionnées, alors que dans un journal, tous les journalistes qui contribuent à un article sont cités. Non seulement cela prive ces personnes de crédit, mais, ce qui est peut-être le plus grave, cela empêche les entités extérieures de vérifier qui contribue à quelle vérification des faits et de s’assurer que les vérificateurs de faits qui s’identifient comme fortement favorables ou opposés à certains sujets ne sont pas affectés à la vérification des faits de ces sujets pour éviter l’apparence de conflits d’intérêts ou de partialité.

Si la vie privée ou la sécurité des vérificateurs de faits est une préoccupation, le site pourrait simplement utiliser le prénom et les initiales du nom de famille ou des pseudonymes. Disposer d’une liste principale de tous les vérificateurs de faits contribuant de quelque manière que ce soit à une vérification des faits donnée contribuerait grandement à établir une plus grande transparence du processus de vérification des faits et des contrôles internes de Snopes en matière de conflits d’intérêts et de partialité.

David n’a pas non plus répondu à une demande de commentaire sur la raison pour laquelle les vérifications des faits de Snopes mentionnent rarement qu’ils ont contacté les auteurs de l’article vérifié pour obtenir leur version de l’histoire. En effet, le cours de journalisme 101 vous enseigne que lorsque vous écrivez un article présentant quelqu’un ou quelque chose sous un jour négatif, vous devez lui donner la possibilité de répondre et de donner sa version des faits. Au lieu de cela, Snopes se concentre généralement sur les événements décrits dans l’article et contacte les personnes et les entités nommées dans l’histoire, mais les vérifications de faits de Snopes ne mentionnent généralement pas de contacter les auteurs des articles sur ces événements pour voir si ces reporters affirment avoir des éléments corroborants supplémentaires, peut-être divulgués à eux de manière officieuse.

En substance, dans ces cas, Snopes effectue une « vérification des faits de loin », rendant un jugement sur les histoires de nouvelles sans donner aux reporters originaux la possibilité de faire des commentaires. David n’a pas répondu à une demande de commentaire sur ce point ou sur la raison pour laquelle le site n’a pas de page d’appel dédiée permettant aux auteurs d’histoires que Snopes a qualifiées de fausses de contester cette étiquette, et il n’a pas non plus répondu à une demande visant à fournir plus de détails sur le fait que Snopes dispose d’un processus d’appel formel écrit ou sur la façon dont il traite ces demandes.

En mettant tout cela ensemble, nous ne savons tout simplement pas si l’histoire du Daily Mail est complètement fausse, complètement vraie ou quelque part au milieu. Snopes lui-même n’a pas publié de réponse officielle à l’article et son fondateur David Mikkelson a répondu par e-mail qu’il ne pouvait pas répondre à de nombreuses revendications en raison d’une clause de confidentialité dans son accord de divorce. Cela crée un environnement profondément troublant dans lequel, lorsqu’on essaie de vérifier les faits par le vérificateur de faits, la réponse est l’équivalent de « c’est secret ». De plus, les réponses de David concernant l’embauche de vérificateurs de faits fortement partisans et son absence de réponse sur les protocoles de sélection et d’évaluation présentent une image profondément troublante d’une boîte noire secrète qui agit en tant qu’arbitre ultime de la vérité, mais qui révèle peu de choses sur son fonctionnement interne. C’est précisément la même approche utilisée par Facebook pour son ancienne équipe Trending Topics et, plus récemment, ses règles relatives aux discours haineux (l’entreprise n’a pas répondu à une demande de commentaire).

De l’extérieur, la Silicon Valley ressemble à une tour rutilante de perfection technologique. Pourtant, une fois le rideau tiré, nous voyons que derrière cette façade chatoyante se trouve un entrepôt de bons vieux humains, soumis à tous les mêmes biais et à la même faillibilité, mais avec leurs résultats désormais blanchis par le lustre de l’infaillibilité informatique. Même mes collègues qui travaillent dans la communauté journalistique et qui sont par nature sceptiques, avaient supposé que Snopes devait avoir des procédures de filtrage rigoureuses, des évaluations constantes inter et intra-juges, des évaluations continues et un mandat de transparence totale. Pourtant, la vérité est que nous n’avons tout simplement aucune visibilité sur les rouages de l’organisation et que son fondateur a refusé de nous éclairer davantage sur ses opérations pour cet article.

Quoique l’article du Daily Mail soit correct dans ses affirmations sur Snopes, ce qui ressort au moins de mes échanges avec le fondateur de Snopes, c’est l’image de la boîte noire ultime présentant un placage étincelant d’arbitrage ultime de la vérité, mais sans absolument aucun aperçu de ses rouages. Alors que les experts en technologie décrient les boîtes noires des algorithmes qui alimentent de plus en plus des entreprises comme Facebook, ils ont oublié que même les sites alimentés par des humains nous offrent peu de visibilité sur leur fonctionnement.

En fin de compte, il est clair qu’avant de nous précipiter pour placer des organisations de vérification des faits comme Snopes en charge d’arbitrer ce qui est la « vérité » sur Facebook, nous devons avoir une bien meilleure compréhension de leur fonctionnement interne et une bien plus grande transparence sur leur travail.