Como os grandes monopólios tecnológicos distorcem o discurso público

Muito antes da crise da pandemia, havia uma preocupação generalizada com o impacto que a tecnologia estava a exercer sobre a qualidade do nosso discurso, desde campanhas de desinformação até influenciar campanhas à polarização.

É verdade que a maneira como conversamos e sobre o mundo mudou, tanto na forma (graças à migração do discurso para plataformas online) como no tipo, seja o surgimento de elementos não-verbais no nosso discurso escrito (emojis, memes , arte ASCII e emoticons) ou os tipos de assédio online e campanhas de brigadas que cresceram com a Internet.

Uma explicação comum para a mudança no nosso discurso é que as maiores plataformas de tecnologia usam vigilância, recolha de dados e aprendizagem por máquina (“machine learning”) para nos manipular, seja para aumentar o “engajamento” (e, portanto, as “pageviews” e, portanto, as receitas publicitárias) ou para nos convencer de coisas que não são verdade, por exemplo, para nos convencer a comprar algo que não queremos ou apoiar um político ao qual nos oporíamos.

Há uma história simples sobre esse relacionamento: ao reunir muitos dados sobre nós e aplicando algoritmos de aprendizagem por máquina auto-modificáveis ​​a esses dados, a Big Tech pode atingir-nos com mensagens que escapam às nossas faculdades críticas, mudando as nossas mentes não sem razão, mas com uma espécie de mesmerismo tecnológico.

Essa história inicia-se com a própria Big Tech. As reivindicações de marketing para publicidade programática e marketing direccionado (incluindo marketing político) prometem aos potenciais clientes que podem comprar audiências para as suas ideias através da Big Tech, que misturará os seus vastos repositórios de dados com a aprendizagem por máquina e sobrecarregará as nossas defesas cognitivas para nos converter em clientes para produtos ou ideias.

Devemos sempre ser cépticos em relação às alegações do marketing. Estes não são artigos de periódicos revistos ​​pelos pares, são anúncios inflacionados. O facto de as reivindicações convencerem os profissionais de marketing a dar milhões de dólares à Big Tech não garante que as reivindicações sejam verdadeiras. Afinal, decisores poderosos nos negócios têm uma longa história de crer em coisas que se revelaram falsas.

É claro que o nosso discurso está a mudar. As ideias que estavam na margem há anos ganharam uma nova centralidade.

Algumas dessas ideias são as de que gostamos (inclusão de género, justiça racial, sentimento antimonopolista) e outras de que não gostamos (xenofobia, teorias da conspiração e negação da ciência das mudanças climáticas e vacinas).

O nosso mundo também é dominado pela tecnologia; portanto, qualquer mudança no nosso mundo provavelmente envolve tecnologia. Desembaraçar as relações causais entre tecnologia e discurso é um problema difícil, mas importante.

É possível que a Big Tech tenha inventado uma forma de alta tecnologia do mesmerismo, mas se acredita nisso ou não, existem muitas maneiras menos controversas e mais óbvias pelas quais a Big Tech está a influenciar (e a distorcer) o nosso discurso.

Localização precisa de audiências
Obviamente, a Big Tech é incrivelmente boa a atingir audiências precisas, sendo esta uma proposta de valor de todo o sector da tecnologia de anúncios publicitários. Precisa de chegar a estudantes estrangeiros da Orla do Pacífico a estudarem para pós-graduação em Física ou Química no centro-oeste do país? Não há problemas. Os anunciantes valorizam esse recurso, mas o mesmo acontece com quem espera influenciar o nosso discurso.

Localizar pessoas vai além da “compra de uma audiência” para um anúncio. Os activistas que desejam alcançar pessoas que se preocupam com os seus problemas podem usar esse recurso para os mobilizar no apoio às suas causas. Pessoas queer que não conhecem alguém podem encontrar comunidades online para as ajudar a entender e a desenvolver as suas próprias identidades. As pessoas que vivem com doenças crónicas podem falar sobre as suas doenças com outras pessoas que partilham os seus problemas.

Essa precisão é boa para quem tem uma visão de fora do “mainstream”, incluindo pessoas que têm opiniões com as quais não concordamos ou causas às quais nos opomos. A Big Tech pode ajudar a encontrar pessoas para cooperar com você em campanhas de assédio racista ou sexista, ou para fomentar movimentos políticos de ódio.

Um discurso exige participantes: se você não consegue encontrar alguém interessante para discutir um assunto esotérico, não o pode discutir. A Big Tech alterou radicalmente o nosso discurso, facilitando que as pessoas que querem falar sobre assuntos obscuros encontrem debatedores, permitindo conversas que literalmente nunca poderiam acontecer de outra maneira. Às vezes isso é bom e às vezes é terrível, mas é absolutamente diferente de qualquer outro momento.

Segredo
Algumas conversas são arriscadas. Falar sobre a sexualidade queer numa cultura intolerante pode levar ao ostracismo ou a sujeitar-se ao assédio e violência. Falar sobre a sua afinidade com a canánis num lugar onde não é legal consumir pode levá-lo a ser despedido ou até preso.

O facto de muitas conversas online ocorrerem em espaços privados significa que as pessoas podem dizer coisas que, de outra forma, guardariam para si mesmas por medo de represálias.

Nem todas estas coisas são boas. Ser apanhado a produzir anúncios políticos enganadores pode causar-lhe problemas com um regulador das eleições e também enviar apoiantes para os seus oponentes. A publicidade que a sua empresa discrimina com base em raça, sexo ou sexualidade pode levá-lo a ser boicotado ou processado, mas se encontrar brechas que permitam atingir determinados grupos que concordam com a sua agenda discriminatória, pode ganhar o negócio deles.

O sigilo permite que as pessoas digam coisas ilegais e socialmente inaceitáveis a quem concorda com elas, reduzindo bastante as consequências de tal discurso. É por isso que o discurso privado é essencial para o progresso social, e é por isso que o discurso privado é benéfico para as pessoas que fomentam o ódio e a violência. Acreditamos no discurso privado e lutamos por ele há 30 anos porque acreditamos nos seus benefícios – mas não negamos os seus custos.

Combinado com a segmentação, o sigilo permite uma forma muito convincente de discurso, não apenas porque se podem cometer actos imorais em impunidade, mas também porque minorias desfavorecidas podem sussurrar ideias que são muito perigosas para falar em voz alta.

Mentir e/ou estar errado
A concentração da indústria de tecnologia produziu uma monocultura de respostas. Para muitas pessoas, o Google é um oráculo, e as suas respostas – os principais resultados das buscas – são definitivas.

Há uma boa razão para isso: o Google está quase sempre certo. Escreva “Qual o comprimento da ponte de Brooklyn” na caixa de pesquisa e receberá uma resposta que concorda com a Wikipedia e a sua fonte subjacente, o relatório de 1967 da New York City Landmarks Preservation Commission.

Às vezes, porém, o Google é levado a mentir por pessoas que nos querem dar mentiras. Ao explorar sistematicamente o sistema de classificação de buscas do Google (um sistema banhado em sigilo e sujeito a análises constantes pela indústria da “Search Engine Optimization”), os maus actores podem e alteram os principais resultados do Google e enganar o sistema para devolver informações incorrectas (e às vezes é apenas um erro estúpido).

Este pode ser um meio muito eficaz de mudar o nosso discurso. Respostas falsas de uma fonte fiável são naturalmente tomadas pelo seu valor, especialmente quando a resposta falsa é plausível (adicionar ou remover alguns metros ao comprimento da ponte de Brooklyn) ou quando o interlocutor não tem ideia de qual deve ser a resposta (adicionar dezenas de milhar de quilómetros por segundo à velocidade da luz).

Mesmo quando o Google não é deliberadamente induzido a dar respostas erradas, ainda pode dar respostas erradas. Por exemplo, quando uma citação é amplamente atribuída incorrectamente e posteriormente corrigida, o Google pode levar meses ou até anos para parar de veicular a atribuição incorrecta nos seus principais resultados. De facto, às vezes o Google nunca acerta em casos como esse, porque as pessoas que recebem a resposta errada do Google repetem-na nos seus próprios textos, aumentando o número de fontes onde o Google encontra a resposta errada.

Isto não se limita apenas ao Google. Os verticais de pesquisa restritos que o Google não controla – sites de namoro, sites de relacionamentos profissionais, alguns mercados online – geralmente dominam esses seus campos e também são confiados por pesquisadores que os tratam como infalíveis, mesmo que reconheçam que isso nem sempre é sensato de fazer.

O resultado é que o que falamos e como falamos depende muito do que o Google nos diz quando fazemos perguntas. Mas isso não depende do Google mudar as nossas crenças existentes: se sabe exactamente qual é a velocidade da luz ou o comprimento da ponte de Brooklyn, um mau resultado nas buscas no Google não mudará as suas ideias. Pelo contrário, trata-se de o Google preencher um vazio no nosso conhecimento.

Há um problema secundário, relacionado, de “idiomas distintos e disjuntos”. A busca por “mentira climática” gera resultados diferentes da pesquisa por “crise climática” e resultados diferentes ainda de “mudança climática”. Embora todos os três se refiram ao mesmo fenómeno subjacente, eles reflectem crenças muito diferentes sobre o mesmo. O termo que se usa para iniciar uma busca levará a um conjunto diferente de recursos.

Este é um problema de longa data no discurso, mas é exacerbado pelo mundo digital.

“Listar por controvérsia”
Os sites suportados por anúncios ganham dinheiro com as visualizações de página. Quanto mais páginas lhes mostrarem, mais anúncios podem exibir e mais provável é que mostrem um anúncio no qual você clicará. Os anúncios não são muito eficazes, mesmo quando são altamente segmentados e, quanto mais anúncios você vê, mais atraído se torna para as propostas deles, portanto, são necessárias muitas visualizações de páginas para gerar um volume sustentado de cliques e um número de visualizações de página necessárias para manter uma receita estável tende a aumentar com o tempo.

É difícil aumentar o número de visualizações de páginas: as pessoas têm orçamentos de tempo fixos. As plataformas podem aumentar o seu “engajamento” oferecendo sugestões de coisas que lhe agradarão, mas isso é difícil (pense no motor de recomendação da Netflix).

Mas as plataformas também podem aumentar o engajamento, deixando-nos irritados, ansiosos ou indignados, e essas emoções são muito mais fáceis de gerar com processos automatizados. A injecção de comentários enervantes, imagens chocantes ou reivindicações estranhas nas suas sessões online pode impedi-lo a longo prazo mas, a curto prazo, essas são uma fonte fiável de excesso de cliques.

Isto tem um impacto óbvio no nosso discurso, ampliando a tendência humana natural de querer pesar nas controvérsias sobre assuntos que são importantes para si. Promove discussões irritadas e improdutivas. Não é controlo mental – as pessoas podem optar por ignorar essas “recomendações” ou afastar-se da controvérsia – mas as plataformas que empregam essa táctica geralmente assumem um carácter discordante e irritado.

Censura deliberada
A moderação de conteúdos é muito difícil. Qualquer pessoa que já tenha tentado criar regras para o que pode e o que não pode ser publicado rapidamente descobre que essas regras nunca podem estar completas – por exemplo, se classifica determinada conduta como “assédio”, pode descobrir que a conduta é apenas um pouco menos severa do que você especificou também é experimentada como assédio por parte de quem a recebe.

Por mais difícil que seja, fica muito mais difícil em escala, particularmente quando serve linhas transculturais e linguísticas: por mais difícil que seja decidir se alguém cruza a linha quando essa pessoa é da mesma cultura que você e está a falar a sua língua nativa, é muito mais difícil interpretar contribuições de pessoas de diferentes origens, e as barreiras linguísticas acrescentam outra camada de incrível complexidade.

O surgimento de plataformas monolíticas com centenas de milhões (ou até milhares de milhão) de utilizadores significa que uma parte substancial do nosso discurso público é conduzido à sombra de políticas de moderação que não são – e não podem – ser completas ou bem administradas.

Mesmo que essas políticas tenham taxas de erro extremamente baixas – mesmo que apenas um em cada mil comentários ou textos excluídos seja vítima de imposição excessivamente zelosa -, sistemas com milhões de utilizadores geram centenas de milhões de textos por dia, e isso representa muitos milhões de actos de censura todos os dias.

Obviamente, nem todas as políticas de moderação são boas e, às vezes, as políticas de moderação são agravadas por maus regimes legais. Por exemplo, o SESTA/FOSTA [Stop Enabling Sex Traffickers Act/Fight Online Sex Trafficking Act], um projecto de lei destinado a acabar com o tráfico sexual humano, era aberto e vago no início, e as políticas de moderação adoptadas praticamente acabaram com certo tipos de discussões sobre sexualidade humana em fóruns públicos, incluindo alguns que alcançaram o objetivo nominal do SESTA/FOSTA de melhorar a segurança de profissionais do sexo (por exemplo, fóruns onde mantinham listas de clientes potencialmente perigosos). Estes assuntos sempre foram sujeitos a padrões arbitrários de moderação, mas o SESTA/FOSTA tornou praticamente impossível o trabalho já difícil de falar sobre sexualidade.

Da mesma forma, o requisito do Communications Decency Act para listas negras de materiais adultos em ligações de Internet subsidiadas pelo governo federal (como em escolas públicas e bibliotecas) impediu o acesso a uma riqueza de materiais legítimos, incluindo sites que oferecem informações sobre saúde sexual e bem-estar, e em lidar com assédio sexual e agressão.

Censura acidental
Além de políticas de moderação mal consideradas, as plataformas também são propensas a erros de execução mal executados, por outras palavras. Ficou famoso o Tumblr instalar um filtro automático destinado a bloquear todo o “conteúdo adulto” e esse filtro bloqueou inúmeras imagens inócuas, de imagens sugestivas da raiz de vegetais a exemplos do próprio Tumblr de imagens que continham nudez, mas não constituíam conteúdo adulto e, portanto, seriam ignoradas pelos seus filtros. Os erros são cometidos por moderadores de conteúdo humanos e automatizados.

Às vezes, os erros são aleatórios e estranhos, mas é mais provável que alguns tópicos dêem origem a censuras acidentais do que outros: sexualidade humana, discussões de sobreviventes de abuso e violência (especialmente violência sexual) e até pessoas cujos nomes ou lares soam ou parecem palavras que foram banidas por filtros (o vietnamita chamado Phuc foi atormentado pelos filtros de “chat” do AOL, assim como os britânicos que moravam em Scunthorpe).

A natureza sistemática dessa censura acidental significa que campos inteiros do discurso são difíceis ou mesmo impossíveis de serem executados em plataformas digitais. Esses tópicos são vítimas de um tipo de superstição da máquina, um computador que os baniu sem a aprovação ou a intenção dos seus programadores humanos, cujas negligências, fragilidades e falta de visão os levaram a programar uma má regra, após o que simplesmente desapareceram de cena, deixando a máquina para trás para repetir o erro em escala.

Censura por terceiros
Desde os primeiros dias das redes digitais, os governos mundiais têm lutado com quando e se os serviços online devem ser responsáveis pelo que os seus utilizadores fazem. Dependendo do país em que um fornecedor online está presente, pode-se esperar que eles bloqueiem ou removam preventivamente violações de direitos autorais, nudez, material sexualmente explícito, material que insulta a família real, difamação, incitação ao ódio, assédio, incitação ao terrorismo ou violência sectária, planos para cometer crimes, blasfémia, heresia e várias outras formas de comunicação difíceis de definir.

Estas políticas são difíceis para as equipas de moderação aplicarem de forma consistente e correcta, mas esse trabalho é muito, muito mais difícil pelas tentativas deliberadas de terceiros de assediar ou silenciar outras pessoas, fazendo alegações falsas sobre elas.

No caso mais simples, os possíveis censores apenas enviam relatórios falsos às plataformas, na esperança de passar por um moderador preguiçoso, cansado ou confuso, a fim de impedir que alguém seja barrado ou o seu discurso removido.

No entanto, como as plataformas instituem regras cada vez mais refinadas sobre o que é e o que não é motivo para remoção ou exclusão, os “trolls” ganham uma nova arma: um conhecimento enciclopédico dessas regras.

As pessoas que querem usar plataformas para discussões de boa fé estão em desvantagem em relação aos “advogados das regras” que desejam interromper esse discurso. Os primeiros têm interesses e empregos sobre os quais desejam comunicar. O interesse e o trabalho destes últimos atrapalha o discurso.

Quanto mais complexas as regras se tornam, mais fácil é para os actores de má-fé encontrarem uma razão para denunciar os seus oponentes, e mais difícil é para os actores de boa-fé evitarem cruzar uma das inúmeras linhas do conjunto de regras.

Conclusão
A ideia de que a Big Tech pode moldar o discurso ignorando as nossas faculdades críticas, espiando e analisando-nos, é auto-útil (na medida em que ajuda a Big Tech a vender anúncios e influencia os serviços) e implausível, e deve ser vista com extremo cepticismo.

Mas não é preciso aceitar reivindicações extraordinárias para encontrar maneiras pelas quais a Big Tech está a distorcer e a degradar o nosso discurso público. A escala da Big Tech torna-a opaca e propensa a erros, mesmo que impossibilite a manutenção de um espaço civil e produtivo para discussão e debate.

Os monopólios da Big Tech – com os seus mecanismos de bloqueio que mantêm os dados dos utilizadores e as relações sociais reféns – retiram qualquer responsabilidade que possa advir do medo de que utilizadores infelizes possam mudar para os concorrentes.

A ênfase em restringir as tácticas de manipulação da Big Tech por meio de medidas regulatórias tem o efeito paradoxal de tornar mais caro e difícil entrar no mercado com um concorrente da Big Tech. Uma regulamentação projectada para coibir a Big Tech virá com custos que a pequena tecnologia não pode dispor e torna-se uma licença para dominar o mundo digital disfarçada de punição regulatória por padrões negligentes.

A escala – e o domínio – das empresas de tecnologia resulta num discurso público inequívoco, óbvio e tóxico. A boa notícia é que temos ferramentas para lidar com isso: divisões, escrutínio de fusões, limites à integração vertical. Talvez após a Big Tech ter sido reduzida, ainda descobriremos que há algum tipo de mesmerismo da aprendizagem por máquina que precisaremos abordar, mas se for esse o caso, o nosso trabalho será infinitamente mais fácil quando a Big Tech tiver sido despojada dos alugueres de monopólio que usa para se defender de tentativas de alterar a sua conduta por meio da política e da lei.

* Texto original de Cory Doctorow e imagem publicados pela Electronic Frontier Foundation (CC BY 3.0 US).

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão /  Alterar )

Google photo

Está a comentar usando a sua conta Google Terminar Sessão /  Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão /  Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão /  Alterar )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.