Si bien continúan las discusiones sobre la posibilidad de utilizar chatbots de inteligencia artificial (IA) como ChatGPT como herramientas de asesoramiento psicológico, las investigaciones han demostrado que dichos sistemas pueden no cumplir con los estándares éticos fundamentales para un tratamiento eficaz de la salud mental. Se subraya que si se utiliza la IA como herramienta de consulta, podría aumentar la controversia sobre la estructura de seguridad y las responsabilidades.
Investigadores de la Universidad de Brown en EE.UU. han analizado que los chatbots de IA pueden causar diversos problemas éticos en situaciones de consultoría. Este estudio se presentó recientemente a través de Science Daily y los resultados se publicaron como un artículo en la Conferencia de Inteligencia Artificial, Ética y Sociedad de AAAI/ACM, una conferencia académica en el campo de la ética de la inteligencia artificial.
● 15 riesgos que incluyen la falta de respuesta a las crisis, los prejuicios y la «falsa empatía»
Los investigadores pidieron a siete compañeros consejeros con experiencia en asesoramiento que llevaran a cabo una conversación de asesoramiento con un chatbot de IA utilizando terapia cognitivo-conductual (TCC) y analizaron los resultados. A continuación, tres psicólogos clínicos revisaron las grabaciones de las conversaciones para evaluar si existían preocupaciones éticas.
El análisis reveló un total de 15 riesgos éticos en la consultoría de chatbot. Los ejemplos representativos incluyeron consejos generales que no consideraron suficientemente situaciones y contextos individuales, respuestas que reforzaron conceptos erróneos y expresiones que contenían prejuicios culturales o de género.
En particular, los investigadores han identificado la “empatía engañosa”, en la que la IA utiliza expresiones de empatía sin una comprensión real, como un importante factor de riesgo. Por ejemplo, un chatbot puede decir «Entiendo cómo te sientes», pero en realidad genera oraciones basadas en patrones sin comprender el estado emocional del usuario. También se identificaron casos en los que no se proporcionó ayuda adecuada en situaciones de crisis como el suicidio.
Además, hubo respuestas que exageraron la capacidad de los consejos en comparación con la realidad o llevaron a los usuarios a confiar demasiado en los consejos basados en IA, y expresiones que simplificaron demasiado el estado emocional del usuario o brindaron tranquilidad sin una comprensión suficiente. También se mencionó como factor de riesgo la forma poco clara en que se procesan los datos personales y los datos de consulta. Los investigadores dijeron que se identificaron un total de 15 riesgos éticos en el proceso de consultoría de IA, incluidos estos casos. Los investigadores enfatizaron que la psicoterapia es un proceso basado en la relación y el contexto entre el paciente y el consejero, y que los modelos de lenguaje a gran escala (LLM) tienen limitaciones estructurales para tratar esto como si fuera un simple problema de generación del lenguaje.
● “Debates sobre el uso de consultas sobre IA… Se necesitan regulaciones y estructuras de rendición de cuentas”.
Los investigadores señalaron que los asesores humanos también pueden cometer errores, pero el problema es que el asesoramiento basado en IA no tiene una estructura de responsabilidad.
Los asesores humanos pueden ser considerados responsables por negligencia médica o tratamiento inadecuado a través de sistemas de concesión de licencias y órganos de supervisión. Por otro lado, si los chatbots basados en IA causan problemas durante el proceso de consulta, todavía no existen mecanismos institucionales para regularlos o responsabilizarlos.
Los investigadores explicaron que esto no significa en absoluto que la inteligencia artificial no pueda utilizarse en el campo de la salud mental. Sin embargo, destacó que se necesitan estándares éticos claros, sistemas regulatorios y medidas de seguridad para utilizarlo como herramienta de consultoría.
Zainab Iftikhar, investigadora doctoral de la Universidad de Brown que realizó el estudio, dijo: «Es necesario establecer estándares educativos, éticos y legales para los sistemas de asesoramiento de IA».
Los expertos señalan que, aunque la inteligencia artificial tiene potencial para ser utilizada como herramienta auxiliar en la gestión de la salud mental, los estándares éticos e institucionales aún no están suficientemente establecidos para confiarle funciones reales de consultoría o tratamiento.
Continúa la controversia sobre los incidentes de elección extrema relacionados con los chatbots de IA. Recientemente, en Florida, EE. UU., surgieron sospechas de que el chatbot de inteligencia artificial de Google, «Gemini», influyó en la elección extrema de un hombre, y una familia afligida presentó una demanda contra Google. La afligida familia dice que el chatbot formó una relación íntima con el usuario y continuó conversaciones delirantes, y Google dijo que estaba investigando el asunto.
Documentos relacionados
https://ojs.aaai.org/index.php/AIES/article/view/36632
© dongA.com Todos los derechos reservados. Queda prohibida la reproducción, redistribución y uso no autorizados del aprendizaje basado en IA.