ANTECEDENTES: Los rápidos avances en el procesamiento del lenguaje natural han dado lugar al uso generalizado de grandes modelos de lenguaje (LLM) en diversos ámbitos médicos. Sin embargo, su eficacia en campos especializados, como la Naturopatía, sigue estando relativamente inexplorada.
OBJETIVO: El estudio tuvo como objetivo evaluar la capacidad de los chatbots LLM disponibles gratuitamente para proporcionar consultas de Naturopatía para diversos tipos de enfermedades y trastornos.
MÉTODOS: Se utilizaron cinco LLM gratuitos (a saber, Gemini, Copilot, ChatGPT, Claude y Perplexity) para conversar con 20 casos clínicos (simulación de escenarios del mundo real). Cada caso tenía los detalles del caso y las preguntas pertinentes a la Naturopatía. Las respuestas se presentaron a tres Naturópatas con > 5 años de práctica. Ellos calificaron las respuestas en una escala tipo Likert de cinco puntos para la fluidez del lenguaje, la coherencia, la precisión y la relevancia. El promedio de estos cuatro atributos se denomina perfección en su estudio.
RESULTADOS: La puntuación general de los LLM fue Gemini 3,81 ± 0,23, Copilot 4,34 ± 0,28, ChatGPT 4,43 ± 0,2, Claude 3,8 ± 0,26 y Perplexity 3,91 ± 0,28 (ANOVA F [3,034, 57,64] = 33,47, P < 0,0001. Juntos, mostraron una perfección general de ~80% en la consulta. El coeficiente de correlación intraclase de la medida promedio entre los LLM para la puntuación general fue 0,463 (IC del 95% = -0,028 a 0,76), P = 0,03.
CONCLUSIÓN: Aunque los chatbots LLM podrían ayudar a proporcionar consultas de tratamiento de Naturopatía y yoga con un nivel general de perfección aproximadamente justo, su solución para el usuario varía entre los diferentes chatbots y hubo una confiabilidad muy baja entre ellos.
No hay comentarios:
Publicar un comentario