Artigo publicado no
Journal of The National Cancer Institute Cancer Spectrum avalia a eficácia das informações elaboradas pelo ChatGPT em relação a questões relativas ao câncer, em comparação com respostas do National Cancer Institute’s (NCI’s).
Usando a página da web intitulada Common Cancer Myths and Misconceptions”, do NCI’s , os estudiosos fizeram ao ChatGPT treze perguntas sobre o câncer, que são pontos comuns de confusão. As respostas do NCI e as do ChatGPT para cada pergunta foram avaliadas com base no conhecimento estabelecido de cinco revisores científicos com experiência em tratamento de câncer e desinformação sobre câncer. As classificações de precisão (sim vs não) foram avaliadas independentemente para cada pergunta e, em seguida, comparadas entre as respostas cegas NCI e ChatGPT.
Após a revisão de especialistas, treze das treze respostas do NCI foram classificadas como precisas por cinco de cinco revisores especialistas, demonstrando 100% de concordância entre os avaliadores. Os resultados do ChatGPT foram determinados como precisos também por cinco de cinco revisores para 11 de 13 perguntas, demonstrando 96,9% de concordância geral.
As duas perguntas que não obtiveram eficiência total de resposta ("Minha atitude - positiva ou negativa - determina meu risco de contrair ou sobreviver ao câncer?" e "As linhas de alta energia causam câncer?") foram classificadas como precisas por quatro de cinco revisores, com um único revisor classificando cada pergunta como imprecisa.
Apesar do resultado, a percepção geral dos realizadores da pesquisa é de que o ChatGPT usa frequentemente uma linguagem indireta, vaga e pouco clara, o que pode levar o paciente à adoção de uma crença ou prática que pode ser prejudicial à sua saúde ou ao tratamento do câncer.
Referência:
Skyler B Johnson, MD, Andy J King, PhD, Echo L Warner, PhD, Sanjay Aneja, MD, Benjamin H Kann, MD, Carma L Bylund, PhD, Using ChatGPT to evaluate cancer myths and misconceptions: artificial intelligence and cancer information, JNCI Cancer Spectrum, Volume 7, Issue 2, April 2023, pkad015, https://doi.org/10.1093/jncics/pkad015
Leia também:
- Confira seis ferramentas de IA além do ChatGPT que podem auxiliar o médico
- ChatGPT apresenta bom desempenho em exame de licenciamento médico nos EUA
- Como o médico pode utilizar o ChatGPT