‘Carol’s Journey’ : ce que Facebook savait sur la façon dont il a radicalisé les utilisateurs

Des documents internes suggèrent que Facebook sait depuis longtemps que ses algorithmes et ses systèmes de recommandation poussent certains utilisateurs à l’extrême.

Illustration d'un lapin sortant d'un trou dans le sol recouvert d'un piège à ours avec des emojis Facebook éparpillés sur le sol.

Des documents internes de Facebook détaillent comment les chercheurs employés par l’entreprise ont découvert que la plateforme avait radicalisé certains utilisateurs et créé des groupes marginaux avec un impact démesuré..

À l’été 2019, une nouvelle utilisatrice de Facebook nommée Carol Smith s’est inscrite sur la plateforme, se décrivant comme une mère politiquement conservatrice de Wilmington, en Caroline du Nord.Le récit de Smith indiquait un intérêt pour la politique, la parentalité et le christianisme et suivait quelques-unes de ses marques préférées, dont Fox News et le président de l’époque, Donald Trump..

Bien que Smith n’ait jamais manifesté d’intérêt pour les théories du complot, en seulement deux jours, Facebook lui a recommandé de rejoindre des groupes dédié à QAnon, une théorie et un mouvement du complot tentaculaires et sans fondement qui prétendaient que Trump sauvait secrètement le monde d’une cabale de pédophiles et de satanistes.

 

Smith n’a pas suivi les groupes QAnon recommandés, mais quel que soit l’algorithme utilisé par Facebook pour déterminer comment elle devrait s’engager avec la plate-forme, elle a tout de même continué.En une semaine, le fil d’actualité de Smith était plein de groupes et de pages qui avaient enfreint les propres règles de Facebook, y compris celles contre les discours de haine et la désinformation..

Smith n’était pas une vraie personne.Un chercheur employé par Facebook a inventé le compte, ainsi que ceux d’autres « utilisateurs tests » fictifs en 2019 et 2020, dans le cadre d’une expérience visant à étudier le rôle de la plateforme dans la désinformation et la polarisation des utilisateurs via ses systèmes de recommandations..

Ce chercheur a déclaré que l’expérience Facebook de Smith était «un barrage de contenu extrême, complotiste et graphique.” 

L’ensemble des recherches a constamment révélé que Facebook poussait certains utilisateurs dans des « trous de lapin », des chambres d’écho de plus en plus étroites où prospéraient de violentes théories du complot.Les personnes radicalisées à travers ces terriers ne représentent qu’une petite partie du total des utilisateurs, mais à l’échelle de Facebook, cela peut signifier des millions d’individus.

Les conclusions, communiquées dans un rapport intitulé « Voyage de Carol à QAnon », figuraient parmi des milliers de pages de documents inclus dans les divulgations faites à la Securities and Exchange Commission et fournies au Congrès sous une forme rédigée par le conseiller juridique de Frances Haugen, qui a travaillé en tant que Chef de produit Facebook jusqu’en mai.Haugen revendique désormais le statut de dénonciateur et a déposé plusieurs plaintes spécifiques selon lesquelles Facebook fait passer le profit avant la sécurité publique.Plus tôt ce mois-ci, elle a témoigné au sujet de ses affirmations devant un sous-comité du Sénat

Les versions des divulgations – qui ont rédigé les noms des chercheurs, y compris l’auteur de « Carol’s Journey to QAnon » – ont été partagées numériquement et examinées par un consortium d’agences de presse, dont NBC News.Le journal de Wall Street publié une série de rapports basé sur de nombreux documents du mois dernier. 

“Bien qu’il s’agisse d’une étude sur un utilisateur hypothétique, il s’agit d’un exemple parfait des recherches menées par l’entreprise pour améliorer nos systèmes et ont contribué à éclairer notre décision de supprimer QAnon de la plate-forme », a déclaré un porte-parole de Facebook dans une réponse aux questions envoyées par courrier électronique..

Le PDG de Facebook, Mark Zuckerberg, a largement nié les affirmations de Haugen, défendre le « programme de recherche de pointe » de son entreprise et son engagement à « identifier les problèmes importants et y travailler ».Les documents publiés par Haugen appuient en partie ces affirmations, mais ils soulignent également les frustrations de certains des employés engagés dans cette recherche.. 

Parmi les divulgations de Haugen figurent des recherches, des rapports et des publications internes qui suggèrent que Facebook sait depuis longtemps que ses algorithmes et ses systèmes de recommandation poussent certains utilisateurs à l’extrême.Et tandis que certains managers et cadres ont ignoré les avertissements internes, des groupes anti-vaccins, des mouvements de théorie du complot et des agents de désinformation ont profité de leur permissivité, menaçant la santé publique, la sécurité personnelle et la démocratie en général..  

“Ces documents confirment effectivement ce que les chercheurs extérieurs disaient il y a des années, ce qui était souvent rejeté par Facebook », a déclaré Renée DiResta, responsable de la recherche technique à l’Observatoire Internet de Stanford et l’une des plus tôt signes avant-coureurs des risques des algorithmes de recommandation de Facebook. 

Les propres recherches de Facebook montrent avec quelle facilité un groupe d’utilisateurs relativement restreint a pu détourner la plate-forme, et pour DiResta, cela résout toute question restante sur le rôle de Facebook dans la croissance des réseaux de complot.. 

“Facebook a littéralement aidé à faciliter une secte », a-t-elle déclaré. 

‘Un modèle sur Facebook’

Pendant des années, les chercheurs de l’entreprise menaient des expériences comme celle de Carol Smith pour évaluer le rôle de la plate-forme dans la radicalisation des utilisateurs, selon les documents consultés par NBC News..

Cette travail interne ont constaté à plusieurs reprises que les outils de recommandation poussaient les utilisateurs dans des groupes extrémistes, des résultats qui ont aidé à éclairer les changements de politique et les ajustements aux recommandations et aux classements des fils d’actualité.Ces classements sont un système tentaculaire en constante évolution, largement connu sous le nom d’« algorithme » qui pousse le contenu vers les utilisateurs.Mais la recherche à cette époque s’est arrêtée bien avant d’inspirer un mouvement pour changer les groupes et les pages eux-mêmes.

Cette réticence était révélatrice d'”un modèle chez Facebook”, a déclaré Haugen aux journalistes ce mois-ci.« Ils veulent le chemin le plus court entre leurs politiques actuelles et toute action.”

“Il y a une grande hésitation à résoudre les problèmes de manière proactive », a ajouté Haugen.

Un porte-parole de Facebook a contesté que la recherche n’avait pas poussé l’entreprise à agir et a souligné des changements dans les groupes annoncé en mars.

Alors que les adeptes de QAnon ont commis des violences dans le monde réel en 2019 et 2020, les groupes et les pages liés à la théorie du complot ont monté en flèche, selon des documents internes.Les documents montrent également comment les équipes à l’intérieur de Facebook ont ​​pris des mesures concrètes pour comprendre et résoudre ces problèmes – certains d’entre eux étant considérés comme trop peu, trop tard..  

À l’été 2020, Facebook hébergeait des milliers de groupes et de pages QAnon privés, avec des millions de membres et de followers, selon un enquête interne inédite

Un an après la Le FBI a désigné QAnon comme une menace terroriste nationale potentielle à la suite de impasses, enlèvements planifiés, campagnes de harcèlement et fusillades, Facebook a qualifié QAnon de « réseau de conspiration incitant à la violence » et l’a interdit de la plate-forme, ainsi que les milices et autres mouvements sociaux violents.Une petite équipe travaillant dans plusieurs départements de Facebook a découvert que ses plateformes avaient hébergé des centaines d’annonces sur Facebook et Instagram valant des milliers de dollars et des millions de vues, « faisant l’éloge, soutenant ou représentant » la théorie du complot..

Le porte-parole de Facebook a déclaré dans un e-mail que l’entreprise a « adopté une approche plus agressive dans la façon dont nous réduisons le contenu susceptible d’enfreindre nos politiques, en plus de ne pas recommander des groupes, des pages ou des personnes qui publient régulièrement du contenu susceptible d’enfreindre nos politiques.

Pour de nombreux employés de Facebook, l’application est arrivée trop tard, selon les messages laissés sur Workplace, le babillard interne de l’entreprise.. 

“Nous savons depuis plus d’un an maintenant que nos systèmes de recommandation peuvent très rapidement conduire les utilisateurs sur la voie des théories et des groupes du complot », a écrit une chercheuse en intégrité, dont le nom avait été expurgé, dans un article annonçant qu’elle quittait l’entreprise.«Ce groupe marginal a acquis une importance nationale, avec des candidats au Congrès QAnon et des hashtags et des groupes QAnon tendance dans le courant dominant.Nous étions prêts à agir seulement * après que * les choses aient dégénéré.” 

‘Nous devrions nous inquiéter’

Alors que l’interdiction de Facebook semblait initialement efficace, un problème subsistait : la suppression de groupes et de pages n’a pas anéanti les abonnés les plus extrêmes de QAnon, qui ont continué à s’organiser sur la plate-forme..

“Il y avait suffisamment de preuves pour alerter la communauté d’experts que Facebook et d’autres plateformes n’ont pas réussi à traiter la dimension extrémiste violente de QAnon », a déclaré Marc-André Argentino, chercheur au King’s College London’s International Center for the Study of Radicalisation, qui a largement a étudié QAnon. 

Les croyants ont simplement été rebaptisés groupes anti-traite d’enfants ou ont migré vers d’autres communautés, y compris celles autour du mouvement anti-vaccin. 

C’était un ajustement naturel.Des chercheurs de Facebook qui étudient les communautés de niche de la plate-forme ont découvert que des croyances conspiratrices violentes étaient liées à l’hésitation à vacciner Covid-19.Dans une étude, les chercheurs ont découvert que les membres de la communauté QAnon étaient également fortement concentrés dans les communautés anti-vaccins.Les influenceurs anti-vaccins ont également saisi l’opportunité de la pandémie et ont utilisé les fonctionnalités de Facebook telles que les groupes et la diffusion en direct pour développer leurs mouvements.. 

“Nous ne savons pas si QAnon a créé les conditions préalables aux croyances d’hésitation face au vaccin », ont écrit les chercheurs.«Cela n’a peut-être pas d’importance de toute façon.Nous devrions nous préoccuper des personnes touchées par les deux problèmes.”

Les croyants de QAnon se sont également tournés vers des groupes faisant la promotion de la fausse affirmation de l’ancien président Donald Trump selon laquelle les élections de 2020 ont été volées, des groupes qui ont trafiqué un méli-mélo de théories du complot sans fondement alléguant que les électeurs, les démocrates et les responsables électoraux trompaient Trump pour un deuxième mandat.Cette nouvelle coalition, en grande partie organisée sur Facebook, a finalement pris d’assaut le Capitole américain le 6 janvier, selon un rapport inclus dans le document trove et rapporté pour la première fois par BuzzFeed News en avril.

Ces groupes complotistes étaient devenus les groupes à la croissance la plus rapide sur Facebook, selon le rapport, mais Facebook n’était pas en mesure de contrôler leur “croissance météorique”, ont écrit les chercheurs, “parce que nous examinions chaque entité individuellement, plutôt que comme un mouvement cohérent.Un porte-parole de Facebook a déclaré à BuzzFeed News qu’il avait pris de nombreuses mesures pour limiter la désinformation électorale, mais qu’il n’était pas en mesure de tout saisir.

L’application de Facebook a été “au coup par coup”, a écrit l’équipe de chercheurs, notant que “nous créons des outils et des protocoles et avons des discussions politiques pour nous aider à mieux le faire la prochaine fois.” 

‘Un problème de tête’

L’attaque du Capitole a invité les employés à une auto-réflexion sévère. 

Une équipe a invoqué les leçons apprises pendant le moment de QAnon pour mettre en garde contre la permissivité avec les groupes et le contenu anti-vaccins, qui, selon les chercheurs, représentaient jusqu’à la moitié de toutes les impressions de contenu de vaccin sur la plate-forme.. 

“Dans les situations en développement rapide, nous avons souvent pris des mesures minimales au départ en raison d’une combinaison de limitations de politiques et de produits, ce qui rend extrêmement difficile la conception, l’approbation et le déploiement rapide de nouvelles interventions », indique le rapport.QAnon a été offert comme exemple d’une époque où Facebook a été « incité par le tollé de la société face aux dommages résultants à mettre en œuvre des suppressions d’entités » pour une crise sur laquelle « nous avons initialement pris des mesures limitées ou aucune.” 

L’effort pour renverser l’élection a également stimulé les efforts pour nettoyer la plate-forme d’une manière plus proactive. 

L’équipe « Contenu dangereux » de Facebook a formé un groupe de travail au début de 2021 pour trouver des moyens de traiter le type d’utilisateurs qui avait été un défi pour Facebook : des communautés telles que QAnon, les négationnistes de Covid et le mouvement incel misogyne qui n’étaient pas une haine évidente. ou des groupes terroristes mais qui, de par leur nature, présentent un risque pour la sécurité des individus et des sociétés.

L’objectif n’était pas de les éradiquer, mais de freiner la croissance de ces nouvelles « communautés de sujets nuisibles », avec les mêmes outils algorithmiques qui leur avaient permis de devenir incontrôlables.. 

“Nous savons comment détecter et supprimer les contenus nuisibles, les acteurs adverses et les réseaux coordonnés malveillants, mais nous n’avons pas encore compris les préjudices supplémentaires associés à la formation de communautés nuisibles, ainsi que la manière d’y faire face », a écrit l’équipe dans un communiqué. Rapport 2021.

Dans un rapport de février, ils sont devenus créatifs.Une équipe d’intégrité a détaillé un système interne destiné à mesurer et à protéger les utilisateurs contre les préjudices sociétaux, notamment la radicalisation, la polarisation et la discrimination que ses propres systèmes de recommandation ont contribué à provoquer.S’appuyant sur un effort de recherche antérieur surnommé «Project Rabbithole», le nouveau programme a été surnommé «Drebbel».Cornelis Drebbel était un ingénieur néerlandais du XVIIe siècle connu pour avoir inventé le premier sous-marin navigable et le premier thermostat. 

Le groupe Drebbel a été chargé de découvrir et finalement d’arrêter les chemins qui ont conduit les utilisateurs vers des contenus nuisibles sur Facebook et Instagram, y compris dans les groupes anti-vaccin et QAnon.

Un article de l’équipe Drebbel a fait l’éloge des recherches antérieures sur les utilisateurs de test.”Nous pensons que Drebbel sera en mesure d’augmenter cela de manière significative”, ont-ils écrit.

“Les adhésions à un groupe peuvent être un signal et une voie importants pour les personnes qui se dirigent vers des communautés nuisibles et perturbatrices », a déclaré le groupe dans un article publié sur Workplace, le babillard interne de Facebook.« Perturber ce chemin peut empêcher d’autres dommages.”

Le groupe Drebbel figure en bonne place dans la “Deamplification Roadmap” de Facebook, un plan en plusieurs étapes publié sur la société Workplace le 6 janvier qui comprend un audit complet des algorithmes de recommandation..

En mars, le groupe Drebbel a fait état de ses progrès via une étude et a suggéré une voie à suivre.Si les chercheurs pouvaient systématiquement identifier les « groupes passerelles », ceux qui alimentent les communautés anti-vaccination et QAnon, ont-ils écrit, peut-être que Facebook pourrait mettre en place des barrages routiers pour empêcher les gens de tomber dans le terrier du lapin.. 

L’étude Drebbel « Gateway Groups » a examiné un ensemble de groupes QAnon et anti-vaccins qui avaient été supprimés pour avoir enfreint les politiques relatives à la désinformation, à la violence et à l’incitation.Il a utilisé les membres de ces groupes purgés pour étudier comment les utilisateurs avaient été attirés. Drebbel a identifié 5 931 groupes QAnon avec 2,2 millions de membres au total, dont la moitié ont rejoint ce que l’on appelle des groupes de passerelle.Pour 913 groupes anti-vaccination avec 1,7 million de membres, l’étude a identifié 1 million de personnes ayant adhéré via des groupes passerelles. (Facebook a dit il reconnaît la nécessité d’en faire plus.)

Les employés d’intégrité de Facebook ont ​​averti dans un rapport précédent que les groupes anti-vaccins pourraient devenir plus extrêmes. 

“Attendez-vous à voir un pont entre le monde en ligne et hors ligne », indique le rapport.« Nous pourrions voir des utilisateurs motivés créer des sous-communautés avec d’autres utilisateurs très motivés pour planifier des actions visant à arrêter la vaccination.”

Un groupe interdépartemental distinct a signalé cette année que l’hésitation face aux vaccins aux États-Unis « ressemblait beaucoup » aux mouvements QAnon et Stop the Steal, « principalement motivés par des acteurs authentiques et le renforcement de la communauté..” 

“Nous avons constaté, comme de nombreux problèmes chez FB », a écrit l’équipe, « qu’il s’agit d’un problème très lourd avec un nombre relativement faible d’acteurs créant un pourcentage important du contenu et de la croissance..”

Le porte-parole de Facebook a déclaré que la société s’était “concentrée sur les résultats” en ce qui concerne Covid-19 et qu’elle avait vu l’hésitation à vacciner de 50%, selon une enquête menée avec l’Université Carnegie Mellon et l’Université du Maryland.

Reste à savoir si les dernières initiatives d’intégrité de Facebook seront en mesure d’arrêter le prochain mouvement dangereux de théorie du complot ou l’organisation violente de mouvements existants.Mais leurs recommandations politiques peuvent avoir plus de poids maintenant que la violence du 6 janvier a mis à nu l’influence démesurée et les dangers des plus petites communautés extrémistes et la désinformation qui les alimente.. 

“Le pouvoir de la communauté, lorsqu’il est basé sur des sujets ou des idéologies nuisibles, constitue potentiellement une plus grande menace pour nos utilisateurs que n’importe quel élément de contenu, acteur adverse ou réseau malveillant », conclut un rapport de 2021..

Le porte-parole de Facebook a déclaré que les recommandations de la « feuille de route de désamplification » étaient en bonne voie : « C’est un travail important et nous avons une longue expérience dans l’utilisation de nos recherches pour informer les modifications apportées à nos applications », a écrit le porte-parole.”Drebbel est cohérent avec cette approche, et ses recherches ont contribué à éclairer notre décision cette année d’arrêter définitivement de recommander des groupes civiques, politiques ou d’actualités sur nos plateformes.Nous sommes fiers de ce travail et nous nous attendons à ce qu’il continue à éclairer les décisions relatives aux produits et aux politiques à l’avenir.”

Source : https://www.nbcnews.com/tech/tech-news/facebook-knew-radicalized-users-rcna3581

 

 

One thought on “‘Carol’s Journey’ : ce que Facebook savait sur la façon dont il a radicalisé les utilisateurs

  • Euh, l’article est sponsorisé par le Parti Démocrate, Fuck-berg et le FBI ?

Commentaires fermés.