Numa tentativa de gerir a subida dos custos dos cuidados de saúde, alguns funcionários do governo e empresas de saúde estão a recorrer a algoritmos para determinar como alocar benefícios limitados a quem prestar cuidados em primeiro lugar, ou se uma pessoa deve ou não receber cuidados.

A intenção no uso dessas ferramentas pode ser razoável mas os críticos dos sistemas automatizados de tomada de decisão dizem que eles podem amplificar os danos dos erros, e aprofundar o enviesamento, com consequências por vezes severas.

O que pode correr mal?

Eis um exemplo: em 2016, o Arkansas virou-se para uma ferramenta algorítmica para gerir os benefícios de saúde para pessoas com incapacidades num programa estadual que fornecia assistência a alguns dos seus residentes mais necessitados. Nesse programa, as pessoas podiam candidatar-se a ter o estado a pagar por visitas de cuidadores profissionais, permitindo que ficassem em casa em vez de se deslocarem a um centro de cuidados de saúde. Antes de 2016, o estado usou decisões humanas: uma enfermeira visitava um candidato e determinava depois durante quantas horas o cuidador o devia visitar semanalmente.

A nova ferramenta apoiou-se num inquérito que questionou os beneficiários questões sobre as suas capacidades e problemas de saúde — se necessitavam de ajuda para comer ou usar a casa de banho, por exemplo. Após recolher a informação, o algoritmo calcula quantas horas a pessoa terá. Muitas pessoas no programa viram imediatamente as suas horas de tratamento diminuídas drasticamente e, descobriu-se depois, nalguns casos isto foi feito de forma errada.

Após um processo judicial apresentado pela Legal Aid of Arkansas, os advogados descobriram durante a litigação que o vendedor que implementou a ferramenta não teve em conta inadvertidamente a contabilização adequada da diabetes e da paralisia cerebral no algoritmo, diminuindo a alocação de horas a centenas de pessoas. Sem o processo judicial, os beneficiários teriam poucas oportunidades de contestar as decisões do algoritmo, mesmo que tivesse falhas. “O algoritmo torna-se a coisa“, disse Kevin De Liban, o advogado da Legal Aid of Arkansas que liderou o processo contra o uso do algoritmo por parte do Estado. “E isso é um dos maiores problemas”.

O estado mudou para um novo sistema em 2019, mas De Liban considera que a nova avaliação algorítmica usada para determinar a elegibilidade cortou cerca de 30% dos beneficiários do programa que tinham sido elegíveis anteriormente.

Processos e sigilo indevidos

O Arkansas não está só. Estados em todo os EUA usaram ferramentas de tomada de decisão similares para determinar quem recebe benefícios. Uma mão cheia enfrentou casos judiciais em resultado disso. Mas por vezes pode ser difícil determinar como funciona um algoritmo, tornando esse processo impossível. 

Por volta de 2011, o Idaho começou a usar uma ferramenta para determinar custos para cuidados domésticos, semelhante ao usado pelo Arkansas. Mas após a ferramenta estar a funcionar, os fundos para alguns beneficiários caíram 42%. 

O estado recusou revelar a fórmula que usou, alegando que se tratava de um “segredo comercial”, o que significou não haver forma para uma pessoa média desafiar a decisão da ferramenta. Se um beneficiário recorrer, um responsável “irá olhar para o sistema e dizer ‘está para lá da minha autoridade e competência questionar a qualidade deste resultado’”, explicou-me Richard Eppink, director legal da ACLU de Idaho em 2018.

Por fim, após um processo judicial, a ACLU do Idaho descobriu durante a litigação que o estado se baseava em dados com tantos erros que imediatamente abandonou a maior parte deles, mas ainda continuou a usar o programa. O resultado, segundo a ACLU, foi um programa a basear-se em dados que geravam essencialmente decisões arbitrárias sobre a saúde. Finalmente, o estado concordou em alterar o sistema.

Novas ferramentas, problemas antigos

Mesmo quando uma ferramenta algorítmica funciona como previsto, há a possibilidade de viés por vezes de formas inesperadas. No ano passado, por exemplo, um grupo de investigadores anunciou os resultados de um estudo em que foi examinado um algoritmo usado de forma generalizada por profissionais de cuidados de saúde. O enviesamento implícito na ferramenta, que afectava milhões [de pessoas], significava que doentes negros eram consistentemente carenciados.

A ferramenta, desenvolvida pela empresa Optum, foi concebida para determinar que pacientes tinham as necessidades médicas mais complexas e quem mais beneficiava com a crescente intervenção médica. Para o determinar, a ferramenta analisava os custos dos cuidados com os pacientes, excluindo a raça como factor. Mas por várias razões possíveis — incluindo ter historicamente menos acesso à saúde, enfrentar a pobreza de forma mais desproporcional ou lidar com a discriminação de médicos — os pacientes negros doentes cronicamente gastam menos dinheiro do que os pacientes brancos com doenças igualmente graves. Neste sistema, a percentagem de pacientes negros que recebiam cuidados adicionais era apenas de 17,7. Se a ferramenta era ajustada para remover o viés, como descobriram os investigadores, aquele valor disparava: 46,5% de pacientes negros receberia então cuidados de saúde. 

E agora?

A indústria dos cuidados de saúde parece estar preparada para começar a usar ainda mais estas ferramentas. Agora, os investigadores estão a estudar como usar a inteligência artificial (IA) para detectar cancro da pele, ataques cardíacos, doenças da visão e muito mais.

Os investigadores têm até estudado como a IA pode ser usada para prever a possibilidade da morte de uma pessoa, uma potencialmente útil ferramenta para para orientar os cuidadores, mas onde as consequências de um erro ou enviesamento podem ser literalmente a vida ou a morte. 

* Tradução a partir do texto de Colin Lecher originalmente publicado em The Markup, com licença CC BY-NC-ND 4.0.
* Fotografias: Jacques Butcher/Unsplash; National Cancer Institute/Unsplash (download free)