‘Sacrifico minha saúde mental pelos outros’

Importante: Este relatório contém detalhes que podem perturbar alguns leitores.

Nos últimos meses, a BBC viu de perto um mundo oculto e sombrio. Nele você pode encontrar o conteúdo pior, mais sombrio e perturbador. on-line.

Grande parte deste conteúdo é ilegal. Decapitações, assassinatos em massa, abuso infantil, discurso de ódio – tudo acaba nas caixas de entrada de um exército global de moderadores de conteúdo.

Você certamente não ouve falar deles com frequência. O trabalho dessas pessoas é analisar e, quando necessário, excluir conteúdos denunciados por outros usuários ou sinalizados automaticamente por ferramentas tecnológicas.

A segurança da Internet está se tornando uma questão cada vez mais relevante. As empresas de tecnologia enfrentam pressão para remover rapidamente material prejudicial publicado online.

Porém, apesar da grande quantidade de pesquisas e investimentos em soluções tecnológicas para ajudar nesse processo, até o momento, a palavra final ainda está em grande parte nas mãos de moderadores humanos.

Os moderadores geralmente são funcionários de empresas terceirizadas, mas seu trabalho é revisar o conteúdo postado diretamente nos principais mídia socialcomo Instagram, TikTok e Facebook.

Os moderadores estão espalhados por todo o mundo.

Falei com vários deles para a série BBC Radio 4 Os moderadores, disponível em inglês no site Sons da BBC. Eles vivem principalmente na África Oriental e desde então deixaram seus cargos.

Suas histórias são angustiantes. Algumas de nossas gravações eram chocantes demais para ir ao ar. Às vezes, meu produtor Tom Woolfenden e eu terminávamos uma gravação e simplesmente sentávamos em silêncio.

“Se você pegar o celular e for no TikTok, você vai ver uma série de atividades, danças, sabe… coisas alegres”, diz o ex-moderador Mojez, de Nairóbi, no Quênia. Ele trabalhou no conteúdo do TikTok.

“Mas, por trás disso, eu moderei pessoalmente centenas de vídeos horríveis e traumatizantes.”

“Eu mesmo assumi a responsabilidade. Deixei minha saúde mental absorver o golpe para que os usuários comuns pudessem continuar suas atividades na plataforma”, afirma.

Existem diversas ações judiciais em andamento alegando que a obra destruiu a saúde mental desses moderadores. Alguns dos antigos profissionais da África Oriental juntaram-se e formaram um sindicato.

“Na verdade, a única coisa que me impede de assistir a uma decapitação quando entro em uma plataforma de mídia social é que há alguém sentado em um escritório em algum lugar assistindo esse conteúdo para mim e analisando-o para que eu não precise fazer isso.” , afirma Martha Dark, responsável pela organização ativista Foxglove, que apoia as ações judiciais.

Em 2020, o Meta – então conhecido como Facebook – concordou em pagar um acordo de US$ 52 milhões aos moderadores que desenvolvessem problemas de saúde mental como resultado deste trabalho.

O processo judicial foi aberto por uma ex-moderadora dos Estados Unidos chamada Selena Scola. Ela descreveu os moderadores como “guardiões das almas” pela quantidade de vídeos que assistem, mostrando os momentos finais da vida das pessoas.

Todos os ex-moderadores com quem conversei usaram a palavra “trauma” para descrever o impacto do trabalho sobre eles. Alguns tiveram dificuldade para dormir e comer.

Um deles contou sobre um colega que entrava em pânico ao ouvir um bebê chorando. Outro disse que tinha dificuldade em interagir com a esposa e os filhos devido ao abuso infantil que testemunhou online.

Eu esperava que eles dissessem que este é um trabalho tão desgastante mental e emocionalmente que nenhum ser humano deveria ser responsável por ele. Achei que apoiariam totalmente a automação completa do setor, com a evolução do inteligência artificial para realizar esta tarefa em grande escala.

Mas não. O que emergiu, de forma poderosa, foi o imenso orgulho dos moderadores pelo papel que desempenharam na proteção do mundo contra danos online.

Consideram-se um serviço de emergência fundamental. Um deles afirmou que queria uniforme e distintivo, comparando-se a bombeiro ou paramédico.

“Nem um único segundo foi desperdiçado”, disse alguém que chamamos de David. Ele pediu para permanecer anônimo.

David trabalhou com material usado para treinar o chatbot viral de IA Bate-papoGPTfazendo com que ele fosse programado para não regurgitar esse material horrível.

“Estou orgulhoso das pessoas que treinaram este modelo para ser o que é hoje”, disse ele. Mas a própria ferramenta que David ajudou a treinar poderá um dia competir com ele.

Dave Willner é o ex-chefe de confiança e segurança da OpenAI, empresa que criou o ChatGPT. Ele diz que sua equipe construiu uma ferramenta rudimentar de moderação baseada na tecnologia chatbot. Essa ferramenta, segundo ele, conseguiu identificar conteúdos nocivos com uma taxa de precisão em torno de 90%.

“Quando finalmente percebi: ‘Oh, isso vai funcionar’, honestamente engasguei um pouco”, diz ele. “[As ferramentas de IA] eles não ficam entediados. Eles não se cansam, não ficam chocados… são incansáveis.”

Mas nem todos têm certeza de que a IA seja uma solução milagrosa para os problemas da indústria de moderação online.

“Acho que é problemático”, diz o professor de comunicação e democracia Paul Reilly, da Universidade de Glasgow, no Reino Unido. “Claramente, a IA pode ser uma forma binária e bastante obtusa de moderar conteúdo.”

“Isso pode acabar bloqueando excessivamente a liberdade de expressão e, claro, pode deixar escapar nuances que moderadores humanos seriam capazes de identificar”, explica.

“A moderação humana é essencial para as plataformas. O problema é que não há moderadores suficientes e o trabalho é extremamente perturbador para os profissionais.”

Também entramos em contato com as empresas de tecnologia mencionadas na série.

Um porta-voz do TikTok afirmou que a empresa sabe que a moderação de conteúdo não é uma tarefa fácil e busca promover um ambiente de trabalho favorável aos seus funcionários. Suas medidas incluem a oferta de apoio clínico e a criação de programas para apoiar o bem-estar dos moderadores.

O TikTok destaca que os vídeos são inicialmente analisados ​​por tecnologia automatizada que, segundo a empresa, remove um grande volume de conteúdo prejudicial.

A OpenAI – empresa responsável pelo ChatGPT – declarou que reconhece o trabalho importante e, às vezes, desafiador de profissionais humanos que treinam IA para identificar essas fotos e vídeos.

Um porta-voz da empresa acrescentou que, juntamente com os seus parceiros, a OpenAI implementa políticas para proteger o bem-estar das suas equipas.

Por fim, a Meta – dona do Instagram e do Facebook – afirma exigir que todas as suas empresas parceiras forneçam suporte presencial, 24 horas por dia, com profissionais treinados. Ela destaca que os moderadores podem personalizar suas ferramentas de análise para desfocar imagens sensíveis.

Ouça a série BBC Radio 4 Os moderadores (em inglês), que deu origem a este relatório, no site Sons da BBC.