A inteligência artificial na pandemia COVID-19 ganhou destaque devido à construção de ferramentas preditivas para estimar a propagação do vírus, realizar a triagem de pacientes ou avaliar o possível impacto do vírus nos doentes.
Mesmo com o esforço de cientistas de dados e pesquisadores para ajudar a linha de frente e conter a pandemia, esses modelos foram desenvolvidos durante um momento de tensão e raramente eram bem testados, sendo pouquíssimos os que determinavam resultados satisfatórios. Uma pesquisa do Instituto Turing, Centro de Ciência de Dados e IA do Reino Unido, mostra que a inteligência artificial na pandemia causou nenhum ou muito pouco impacto na luta contra o COVID-19.
Estudos sobre Inteligência Artificial na Pandemia Covid-19
Uma percepção semelhante foi encontrada por pesquisadores no British Medical Journal que avaliaram ferramentas preditivas. As análises da Dra. Wynants e seus colaboradores abrangeram 232 modelos de diagnóstico de pacientes ou de predição da gravidade da doença no paciente. Para os autores, nenhum dos modelos era adequado para o uso clínico, e apenas 2 demonstraram ser promissores para futuros testes.
Outra revisão feita na Universidade de Cambridge, pelo pesquisador de aprendizado de máquina Derek Driggs e seus colegas, avaliou mais de 300 ferramentas descritas em artigos com modelos de deep learning para diagnosticar COVID-19 e predizer o risco de pacientes através de imagens de raio X e tomografias torácicas. Novamente, a conclusão foi de que nenhuma das ferramentas era adequada para uso clínico e foram detectados inúmeros problemas de qualidade de dados e documentação.
Nos dois estudos, os pesquisadores concluíram que os modelos tinham problemas básicos nas etapas de coleta de dados, treinamento e teste, além de suposições incorretas sobre os dados. Como resultado, os modelos não funcionavam como esperado. Os autores também concordaram que a inteligência artificial na pandemia tem potencial de ajudar, mas pode ser perigosa se construída ou utilizada de forma errada, pois pode subestimar os riscos da doença ou resultar em diagnósticos incorretos. Entre os algoritmos analisados nos estudos, muitos já estavam sendo utilizados em hospitais ou vendidos por iniciativas privadas, mesmo não estando completamente testados e desenvolvidos, e, dependendo de como foram utilizados, podem ter prejudicado pacientes.
Por outro lado, a pandemia ajudou a perceber que o modo que os modelos estão sendo desenvolvidos e comercializados precisam ser revistos. É claro que devemos levar em consideração a urgência para a criação dos modelos e o contexto da pandemia, mas o alerta já pode ser dado.
Um dos principais problemas destacados nos estudos sobre inteligência artificial na pandemia COVID-19 foi a falta de qualidade dos dados, que foi agravada pela urgência para criar modelos, precariedade na coleta dos dados e condições extremas que os profissionais tiveram que lidar.
Leia também:
Melhores Práticas em Qualidade de Dados
6 Dimensões da Qualidade de Dados
Inteligência Artificial e Antibióticos
Fonte dos Dados e Banco de Dados
A maior parte dos modelos de inteligência artificial para COVID-19 examinados pelos artigos contavam com problemas sérios nas fontes de dados e datasets. Foram identificados diversos registros classificados de forma incorreta.
Bancos de dados públicos continham informações de dados duvidosos ou desconhecidos, e ainda eram enfrentadas questões na forma de distribuição e integração desses bancos de dados, afetando ainda mais sua qualidade, consistência e confiabilidade.
A criação de bancos de dados “Frankenstein” também impactou negativamente os modelos. Esses bancos de dados são criados a partir da junção de dados de fontes diversas, o que pode acabar gerando a existência de registros duplicados e sem padronização, que posteriormente seriam publicados novamente com outros nomes.
Foram encontradas ferramentas construídas com bancos de dados Frankenstein que foram desenvolvidas e testadas com os mesmos registros, pois estavam repetidos devido à essas diversas junções. Isso resultaria em um tipo de vazamento de dados que pode aumentar erroneamente a acurácia da predição.
Variáveis
Outro exemplo dos bancos de dados “Frankenstein” foi com o uso de tomografias para criar modelos. Os bancos de dados traziam imagens de pacientes deitados e em pé. Pacientes deitados costumam estar em condições mais graves, de forma que o modelo aprendeu a prever uma condição severa de COVID-19 quando o paciente estava deitado.
A origem dos dados com que os modelos foram treinados foi outro problema detectado, pois acarretou na falta de variáveis importantes e a ferramenta não servia ao propósito inicialmente determinado. Por exemplo, uma das ferramentas foi treinada com imagens de pulmões de crianças sem COVID-19, como exemplo para identificar a não presença da doença. O resultado foi um modelo treinado para detectar crianças, ao invés da doença.
Por fim, um modelo identificou a fonte do texto utilizada nas imagens de cada hospital como variável de predição.O resultado foi que hospitais com casos mais graves foram considerados uma variável para identificar COVID-19.
Coleta de Dados
Ficou evidente a precariedade na coleta de dados, tanto de informações de pacientes quanto de exames, uma vez que a equipe médica estava enfrentando uma situação nova e extremamente complicada. Sem contar a possível falta de treinamento e preparo da equipe para a coleta de dados, a falta de processos padronizados, ferramentas adequadas e as incertezas em relação ao vírus.
Conhecimento médico e técnico
Muitos dos exemplos citados anteriormente parecem fáceis de perceber e ajustar. Os modelos teriam menor acurácia, mas resultados menos errôneos.
Entretanto, os algoritmos normalmente eram desenvolvidos por cientistas de dados sem conhecimento médico técnico, dificultando encontrar erros nos dados, aumentando ainda mais a dificuldade inerente da tarefa de diagnóstico e sem conhecimento de como adequar a ferramenta aos procedimentos médicos.
Outras vezes, os modelos eram criados por pesquisadores da área da saúde, que não possuem tanto aprofundamento no conhecimento matemático da construção de algoritmos.
Vieses
Outro problema notado por Driggs, é a possibilidade de vieses de incorporação ou vieses causados na hora de rotular cada dado. Por exemplo, muitos casos de imagens de pulmão foram identificados como presença de covid porque o radiologista registrou assim, mas não houve confirmação a partir de algum teste como PCR. Assim, qualquer viés que existisse naquele médico é passado para o banco de dados. É claro que, no caso da pandemia, muitas vezes não havia tempo hábil ou recursos para tais verificações.
Outras fontes de vieses poderiam ainda vir do fato de que não é possível confirmar se a classificação dos registros de datasets públicos está correta, ou se a pessoa que os classificou tinha algum viés; o uso de critérios de exclusão pouco documentados; bancos de dados desbalanceados; diferenças grandes entre grupos demográficos e a falta de definição do grupo de controle e variáveis preditoras selecionadas com o conhecimento do resultado final (vazamento de dados).
Documentação
A documentação de diversas ferramentas não trazia detalhes de como o modelo final foi selecionado, como os dados foram processados (especialmente imagens), técnicas de seleção de variáveis e detalhes da otimização do modelo e validação.
Outros casos avaliados foram a falta de definição de intervalos de confiança, significância dos resultados, informação sobre limitações e generalizações realizadas.
Uso dos modelos de inteligência artificial na pandemia COVID-19
Não se sabe exatamente quais ferramentas estão sendo utilizadas, nem como, nem o quanto os médicos se baseiam nelas para seus diagnósticos. Ainda, as próprias empresas que comercializam os modelos guardam segredo em relação aos seus desenvolvimentos e assinam termos de confidencialidade com os hospitais.
Ter dados melhores e mais confiáveis certamente resultariam em modelos mais interessantes, mas estávamos vivendo um momento em que tempo e recursos eram escassos. O que se poderia fazer com os dados que temos?
Recomendações para modelos de inteligência artificial na pandemia
De acordo com Driggs, a opção mais simples seria que equipes de IA colaborassem mais com a equipe médica. Ainda, recomenda que pesquisadores compartilhem seus modelos, divulguem como foram treinados e permitam que outras pessoas possam testá-los e melhorá-los. Essas duas práticas simples, de acordo com o pesquisador, resolveriam talvez 50% dos problemas identificados.
O médico Bilal Mateen, líder da equipe de tecnologia clínica do Wellcome Trust, uma instituição de caridade global de pesquisa em saúde, acrescenta que seria mais fácil obter dados confiáveis se os formatos fossem padronizados.
Outras recomendações dos estudos são a necessidade de validações externas e internas coerentes, documentação que permita a reprodução do modelo e validações e, claro, dados com maior qualidade.
Wynants, Driggs e Mateen identificaram em seus estudos que a maioria dos pesquisadores se apressou em desenvolver seus próprios modelos, em vez de trabalharem juntos ou melhorarem os existentes. O resultado foi que o esforço coletivo de pesquisadores em todo o mundo produziu centenas de ferramentas medianas, em vez de algumas ferramentas devidamente treinadas e testadas. No final das contas, os modelos eram muito parecidos e utilizavam técnicas semelhantes com pequenos ajustes. Se ao invés de se criar novos modelos, se melhorasse algum já disponível, era possível ter alguma ferramenta adequada agora.
Disponibilidade de Dados na pandemia COVID-19
A Organização Mundial da Saúde está considerando um contrato de compartilhamento de dados de emergência que entraria em vigor durante crises internacionais de saúde. Isso permitiria aos pesquisadores mover dados através das fronteiras com mais facilidade e aumentar a disponibilidade de dados em preparação para futuras emergências de saúde. Essas iniciativas ainda são um pouco vagas, mas voltaram a chamar atenção após a pandemia.
Referências
https://www.nature.com/articles/s42256-021-00307-0#Sec2
Pingback: O que é Governança de Dados - Diário de Dados