As respostas do chatbot de IA ChatGPT a consultas médicas obtiveram classificações mais altas em comparação com as respostas humanas, de acordo com um novo estudo. No entanto, os pesquisadores levantaram preocupações de que a mecanização de tais atividades poderia tirar a sensação de apoio humano.
O estudo, publicado no jornal JAMA Network em 28 de abril, envolveu pesquisadores que selecionaram aleatoriamente 195 perguntas de um fórum público de saúde nas mídias sociais, ao qual um médico verificado havia respondido. O ChatGPT foi alimentado com essas perguntas e a IA gerou suas respostas. Os pesquisadores enviaram as perguntas originais, bem como as respostas ordenadas aleatoriamente do médico verificado e do ChatGPT para uma equipe de três profissionais de saúde licenciados. O trio comparou as respostas com base na “qualidade da informação fornecida” e “na empatia ou na maneira de lidar com o paciente”.
Os três profissionais de saúde preferiram as respostas do ChatGPT às do médico verificado em 78,6% das vezes.
“As mensagens do ChatGPT responderam com informações detalhadas e precisas que muitas vezes abordavam mais aspectos das perguntas do paciente do que as respostas do médico”, disse Jessica Kelley, enfermeira da empresa Human Longevity de San Diego e coautora do estudo, de acordo com um comunicado de imprensa de 28 de abril.
As respostas do ChatGPT foram classificadas como “boas” ou “muito boas” 3,6 vezes mais do que as respostas do médico. As respostas do chatbot também receberam 9,8 vezes mais avaliações “empáticas” ou “muito empáticas”.
Em entrevista à Fox, o Dr. John W. Ayers, vice-chefe de inovação da Divisão de Doenças Infecciosas e Saúde Pública Global da Universidade da Califórnia, em San Diego, e autor do estudo, levantou preocupações de que a percepção das pessoas sobre as respostas de suporte médico pode mudar se eles perceberem que as mensagens foram geradas via IA.
Ayers citou um estudo focado no suporte à saúde mental que descobriu que as mensagens de IA eram preferidas pelas pessoas às respostas humanas. “Curiosamente, uma vez que as mensagens foram divulgadas como sendo escritas por IA, o apoio sentido pelo receptor dessas mensagens desapareceu”, disse ele.
“Uma preocupação que tenho é que, no futuro, as pessoas não sentirão nenhum apoio por meio de uma mensagem, pois os pacientes podem presumir que ela será escrita por IA.”
Limitações do estudo, riscos de diagnósticos errados com IA
A principal limitação do estudo é o fato de ter usado um fórum online de troca de perguntas e respostas. Tais mensagens podem não refletir as perguntas típicas do paciente-médico, admitiu o estudo.
“Nós apenas estudamos responder a perguntas isoladamente, enquanto os médicos reais podem formular respostas com base em relacionamentos médicos-pacientes estabelecidos”.
“Não sabemos até que ponto as respostas dos médicos incorporam esse nível de personalização, nem avaliamos a capacidade do chatbot de fornecer detalhes semelhantes extraídos do prontuário eletrônico”.
Em um artigo de 5 de abril publicado no Medium, o Dr. Josh Tamayo-Sarver revelou os problemas que descobriu quando usou o ChatGPT para diagnosticar seus pacientes. “Os resultados foram fascinantes, mas também bastante perturbadores”, escreve ele.
Contanto que o material fornecido ao ChatGPT fosse preciso e altamente detalhado, o bot fez um “trabalho decente” ao destacar diagnósticos comuns. Para quase metade dos pacientes, o ChatGPT sugeriu seis diagnósticos possíveis. Os diagnósticos corretos dos pacientes foram um desses seis diagnósticos gerados pelo bot.
No entanto, “uma taxa de sucesso de 50% no contexto de uma sala de emergência também não é boa”, diz Josh. Em um caso, o ChatGPT errou ao diagnosticar que uma paciente de 21 anos teve uma gravidez ectópica, uma condição na qual o feto se desenvolve na trompa de falópio da mulher, e não no útero. Se diagnosticada tardiamente, a situação pode levar à morte.
“Meu medo é que inúmeras pessoas já estejam usando o ChatGPT para se diagnosticar medicamente, em vez de consultar um médico. Se minha paciente neste caso tivesse feito isso, a resposta do ChatGPT poderia tê-la matado”, escreveu Josh.
Entre para nosso canal do Telegram
Assista também:
