Num crescente escândalo sobre benefícios para crianças, mais de 26 mil famílias foram injustamente acusadas de fraude pela autoridade fiscal holandesa. As famílias foram forçadas a reembolsar dezenas de milhares de euros, resultando em desemprego, divórcios e famílias a perderem as suas casas.

A Bits of Freedom, membro da EDRi, revela os algoritmos discriminatórios usados ​​pela autoridade e insta o governo a proibir o seu uso e a desenvolver legislação sobre inteligência artificial (IA).

Muitas vítimas eram pessoas de cor. As pessoas que solicitaram informações sobre o processo da tomada de decisão que levou às acusações ilícitas tiveram os seus dossiês “divulgados”, mas confrontaram-se com páginas e mais páginas de texto inteiramente redigido. Isto aumentou ainda mais a desconfiança na autoridade tributária e tornou-se um símbolo da falta de transparência do governo.

Após negar repetidamente qualquer irregularidade, a autoridade fiscal admitiu finalmente ter usado a dupla nacionalidade como um marcador para determinar se alguém estava propenso a cometer fraude. Os advogados que representam as famílias dizem que alguns se sentiram visados ​​por causa dos “seus nomes aparentemente estrangeiros”.

Uma comissão de investigação emitiu o relatório parlamentar “Unprecedented Injustice” (Injustiça sem precedentes, em holandês), que concluiu que “os princípios fundamentais do Estado de direito foram violados”. Este relatório levou à demissão do governo holandês, que alegou estar a assumir a sua “responsabilidade política”. Com as eleições gerais marcadas para Março deste ano, muitos vêem isso como um gesto meramente simbólico.

A autoridade tributária usou algoritmos de auto-aprendizagem para elaborar o perfil dos residentes. A escolha de usar identificadores discriminadores foi, no entanto, uma decisão humana. À medida que o impacto do escândalo dos benefícios infantis se torna vez mais claro, os políticos concordam que muitos erros foram cometidos dentro do “sistema” e que o “racismo institucional” deve ser condenado.

A Bits of Freedom concorda que o sistema holandês tem falhado de várias maneiras. No entanto, o sistema não opera por conta própria. “O sistema” e os algoritmos usados ​​foram programados por humanos e reflectem decisões políticas e de política. Portanto, para prevenir desastres semelhantes, é preciso mais do que um gesto político: é necessária a prestação de contas (“accountability”).

O Tribunal de Contas da Holanda declarou que há muitos problemas com o uso de algoritmos pelo governo e alerta sobre o risco de discriminação e a falta de orientação ética. Recentemente, outra investigação foi publicada, desta vez sobre o uso de algoritmos pelos municípios. Actualmente, vários municípios usam algoritmos para investigar fraudes na assistência social. Isso levanta preocupações, já que os municípios parecem estar a ignorar todos os sinais de alerta e lições aprendidas com o escândalo dos benefícios infantis.

A Bits of Freedom insta o governo a proibir o uso de algoritmos discriminatórios e a desenvolver legislação sobre IA. Com a EDRi, apela à introdução de linhas vermelhas na proposta da Comissão Europeia sobre a IA.

* Texto publicado pela Bits of Freedom/EDRi. Reproduzido sob licença (CC-BY 4.0). Imagem: Ignotus the Mage (CC BY-NC-SA 2.0).