Em um novo estudo, a faculdade de Stanford discute o viés sexual, de gênero e raça nas tecnologias médicas. Os oxímetros de pulso, por exemplo, são mais propensos a relatar incorretamente os níveis de gás no sangue em indivíduos de pele escura e em mulheres
Estudos recentes encontraram vieses significativos em algoritmos de inteligência artificial. Pesquisadores estão levantando suas preocupações sobre vieses de IA associados a dispositivos médicos e algoritmos usados para analisar riscos à saúde. Se não forem controladas, dizem, as tecnologias podem continuar a perpetuar preconceitos sexuais, de gênero e raciais que poderiam exacerbar as disparidades na saúde.
Fonte: Stanford
Médicos e cirurgiões estão cada vez mais usando dispositivos médicos baseados em inteligência artificial. Esses dispositivos de IA, que contam com algoritmos orientados por dados para informar as decisões de cuidados de saúde, atualmente auxiliam no diagnóstico de cânceres, doenças cardíacas e doenças do olho, com muito mais aplicações a caminho.
Dado esse aumento na IA, dois membros do corpo docente da Universidade de Stanford estão pedindo esforços para garantir que essa tecnologia não exacerba as disparidades de cuidados de saúde existentes.
Em um novo artigo de perspectiva, a faculdade de Stanford discute o viés sexual, de gênero e raça na medicina e como esses vieses poderiam ser perpetuados por dispositivos de IA. Os autores sugerem várias abordagens de curto e longo prazo para evitar viés relacionado à IA, como a mudança de políticas em agências de financiamento médico e publicações científicas para garantir que os dados coletados para estudos sejam diversos e incorporem mais consciência social, cultural e ética nos currículos universitários.
"O corpo branco e o corpo masculino têm sido a norma na medicina que orienta a descoberta de drogas, o tratamento e os padrões de cuidado, por isso é importante que não deixemos que os dispositivos de IA caiam nesse padrão histórico", disse Londa Schiebinger, professora john L. Hinds na História da Ciência na Escola de Humanidades e Ciências e autora sênior do artigo publicado em 4 de maio na revista EBioMedicine.
"À medida que estamos desenvolvendo tecnologias de IA para cuidados de saúde, queremos garantir que essas tecnologias tenham amplos benefícios para diversas demografias e populações", disse James Zou, professor assistente de ciência de dados biomédicos e, por cortesia, da ciência da computação e da engenharia elétrica em Stanford e coautor do estudo.
A questão do viés só se tornará mais importante à medida que a medicina personalizada e de precisão crescer nos próximos anos, disseram os pesquisadores. A medicina personalizada, que é adaptada a cada paciente com base em fatores como sua demografia e genética, é vulnerável à desigualdade se os dispositivos médicos de IA não puderem explicar adequadamente as diferenças dos indivíduos.
"Esperamos engajar a comunidade biomédica de IA na prevenção de viés e na criação de equidade no desenho inicial da pesquisa, em vez de ter que corrigir as coisas após o fato", disse Schiebinger.
Construtivo – se construído adequadamente
Na área médica, a IA engloba um conjunto de tecnologias que podem ajudar a diagnosticar doenças dos pacientes, melhorar a prestação de cuidados de saúde e aprimorar pesquisas básicas. As tecnologias envolvem algoritmos, ou instruções, executados por software. Esses algoritmos podem agir como um conjunto extra de olhos que examinam testes laboratoriais e imagens radiológicas; por exemplo, analisando tomografias computadorizadas para formas específicas e densidades de cores que possam indicar doenças ou lesões.
Problemas de viés podem surgir, no entanto, em vários estágios do desenvolvimento e implantação desses dispositivos, explicou Zou. Um fator importante é que os dados para a formação de modelos usados por algoritmos como linhas de base podem vir de conjuntos de dados de pacientes não representativos.
Ao não levar em conta adequadamente raça, sexo e status socioeconômico, esses modelos podem ser preditores ruins para certos grupos. Para piorar as coisas, os médicos podem não ter qualquer consciência dos dispositivos médicos de IA potencialmente produzindo resultados distorcidos.
Como exemplo ilustrativo de viés potencial, Schiebinger e Zou discutem os oxímetros de pulso em seu estudo. Patenteados pela primeira vez há cerca de 50 anos, os oxímetros de pulso podem relatar rapidamente e não invasivamente os níveis de oxigênio no sangue de um paciente. Os dispositivos têm se mostrado criticamente importantes no tratamento do COVID-19, onde pacientes com baixos níveis de oxigênio devem receber imediatamente oxigênio suplementar para evitar danos e falência dos órgãos.
Os oxímetros de pulso funcionam iluminando uma luz através da pele de um paciente para registrar absorção de luz por glóbulos vermelhos oxigenados e desoxigenados. A melanina, o pigmento primário que dá cor à pele, também absorve luz, no entanto, leituras potencialmente embaralhadas em pessoas com pele altamente pigmentada.
Não é surpresa, então, que estudos tenham mostrado que os oximetros padrão da indústria de hoje são três vezes mais propensos a relatar incorretamente os níveis de gás no sangue em pacientes negros em comparação com pacientes brancos. Os oxímetros também têm um viés sexual, tendendo a níveis errados em mulheres com mais frequência do que os homens. Esses vieses de oxímetro significam que indivíduos de pele escura, especialmente mulheres, correm o risco de não receber oxigênio suplementar de emergência.
"O oxímetro de pulso é um exemplo instrutivo de como o desenvolvimento de uma tecnologia médica sem coleta variada de dados demográficos pode levar a medições tendenciosas e, portanto, resultados mais pobres dos pacientes", disse Zou.
Esta questão se estende à avaliação dos dispositivos após aprovação para uso clínico. Em outro estudo recente, publicado na Nature Medicine e citado no artigo da EBioMedicine, Zou e colegas de Stanford revisaram os 130 dispositivos de IA médico aprovados na época pela Food and Drug Administration dos EUA.
Os pesquisadores descobriram que 126 dos 130 dispositivos foram avaliados usando apenas dados coletados anteriormente, o que significa que ninguém mediu o quão bem os algoritmos de IA funcionam em pacientes em combinação com a entrada ativa do clínico humano. Além disso, menos de 13% dos resumos disponíveis publicamente de desempenhos de dispositivos aprovados relataram sexo, sexo ou raça/etnia.
Zou disse que esses problemas de precisar de coleta e monitoramento mais diversos de dados das tecnologias de IA em contextos médicos "estão entre os frutos mais baixos na abordagem do viés".
Abordando viés no nível macro
A longo prazo, o estudo explora como mudanças estruturais na infraestrutura biomédica mais ampla podem ajudar a superar os desafios colocados pelas iniquidades da IA.
Um ponto de partida são as agências de financiamento, como os Institutos Nacionais de Saúde. Alguns progressos foram feitos nos últimos anos, disse Schiebinger, apontando como, em 2016, o NIH começou a exigir que os candidatos de financiamento incluíssem o sexo como variável biológica em suas pesquisas, se relevantes.
Schiebinger antecipa o NIH instituindo uma política semelhante para gênero, bem como raça e etnia. Seu grupo em Stanford, por sua vez, está desenvolvendo o gênero como variável sociocultural durante os ensaios clínicos, como relatado em um estudo de fevereiro em Biologia das Diferenças Sexuais.
"Queremos começar com a política em frente nas agências de financiamento para definir a direção da pesquisa", disse Schiebinger. "Essas agências têm um grande papel a desempenhar porque estão distribuindo dinheiro do contribuinte, o que significa que a pesquisa financiada deve beneficiar todas as pessoas em toda a sociedade."
Outra área de oportunidade se concentra em publicações biomédicas, incluindo revistas e relatórios de conferências. Os autores do estudo de Stanford sugerem que as publicações estabelecem políticas para exigir análises de sexo e gênero, quando apropriado, juntamente com considerações éticas e consequências sociais.
Para as escolas médicas, os autores sugerem melhorar os currículos para aumentar a conscientização sobre como a IA pode reforçar as iniquidades sociais. Stanford e outras universidades já estão avançando em direção a esse objetivo, incorporando o raciocínio ético em cursos de ciência da computação.
Outro exemplo de uso de uma abordagem interdisciplinar para reduzir o viés é a colaboração contínua entre Schiebinger, que leciona em Stanford há 17 anos e é uma autoridade internacional líder em gênero e ciência, e Zou, especialista em ciência da computação e IA biomédica.
"Reunir um humanista e um tecnólogo é algo em que Stanford é bom e deve fazer mais", disse Schiebinger. "Estamos orgulhosos de estar na vanguarda dos esforços para desímo da IA na medicina, ainda mais importante considerando as muitas outras facetas da vida humana que a IA eventualmente impactará."
Financiamento: O trabalho de James Zou foi apoiado por bolsas da Fundação Nacional de Ciência e dos Institutos Nacionais de Saúde.
“Ensuring that biomedical AI benefits diverse populations” by James Zou, Londa Schiebinger. EBioMedicine