É preciso mais do que gestos “simbólicos” na resposta aos algoritmos discriminatórios

Num crescente escândalo sobre benefícios para crianças, mais de 26 mil famílias foram injustamente acusadas de fraude pela autoridade fiscal holandesa. As famílias foram forçadas a reembolsar dezenas de milhares de euros, resultando em desemprego, divórcios e famílias a perderem as suas casas.

A Bits of Freedom, membro da EDRi, revela os algoritmos discriminatórios usados ​​pela autoridade e insta o governo a proibir o seu uso e a desenvolver legislação sobre inteligência artificial (IA).

Muitas vítimas eram pessoas de cor. As pessoas que solicitaram informações sobre o processo da tomada de decisão que levou às acusações ilícitas tiveram os seus dossiês “divulgados”, mas confrontaram-se com páginas e mais páginas de texto inteiramente redigido. Isto aumentou ainda mais a desconfiança na autoridade tributária e tornou-se um símbolo da falta de transparência do governo.

Após negar repetidamente qualquer irregularidade, a autoridade fiscal admitiu finalmente ter usado a dupla nacionalidade como um marcador para determinar se alguém estava propenso a cometer fraude. Os advogados que representam as famílias dizem que alguns se sentiram visados ​​por causa dos “seus nomes aparentemente estrangeiros”.

Uma comissão de investigação emitiu o relatório parlamentar “Unprecedented Injustice” (Injustiça sem precedentes, em holandês), que concluiu que “os princípios fundamentais do Estado de direito foram violados”. Este relatório levou à demissão do governo holandês, que alegou estar a assumir a sua “responsabilidade política”. Com as eleições gerais marcadas para Março deste ano, muitos vêem isso como um gesto meramente simbólico.

A autoridade tributária usou algoritmos de auto-aprendizagem para elaborar o perfil dos residentes. A escolha de usar identificadores discriminadores foi, no entanto, uma decisão humana. À medida que o impacto do escândalo dos benefícios infantis se torna vez mais claro, os políticos concordam que muitos erros foram cometidos dentro do “sistema” e que o “racismo institucional” deve ser condenado.

A Bits of Freedom concorda que o sistema holandês tem falhado de várias maneiras. No entanto, o sistema não opera por conta própria. “O sistema” e os algoritmos usados ​​foram programados por humanos e reflectem decisões políticas e de política. Portanto, para prevenir desastres semelhantes, é preciso mais do que um gesto político: é necessária a prestação de contas (“accountability”).

O Tribunal de Contas da Holanda declarou que há muitos problemas com o uso de algoritmos pelo governo e alerta sobre o risco de discriminação e a falta de orientação ética. Recentemente, outra investigação foi publicada, desta vez sobre o uso de algoritmos pelos municípios. Actualmente, vários municípios usam algoritmos para investigar fraudes na assistência social. Isso levanta preocupações, já que os municípios parecem estar a ignorar todos os sinais de alerta e lições aprendidas com o escândalo dos benefícios infantis.

A Bits of Freedom insta o governo a proibir o uso de algoritmos discriminatórios e a desenvolver legislação sobre IA. Com a EDRi, apela à introdução de linhas vermelhas na proposta da Comissão Europeia sobre a IA.

* Texto publicado pela Bits of Freedom/EDRi. Reproduzido sob licença (CC-BY 4.0). Imagem: Ignotus the Mage (CC BY-NC-SA 2.0).

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão /  Alterar )

Google photo

Está a comentar usando a sua conta Google Terminar Sessão /  Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão /  Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão /  Alterar )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.