Constitutional AI: una propuesta para la seguridad en la atención psicológica asistida por inteligencia artificial
El uso de sistemas de inteligencia artificial (IA) en el ámbito de la salud mental ha aumentado de manera significativa en los últimos años. Plataformas como ChatGPT, Gemini o Claude han sido utilizadas por millones de personas en busca de orientación emocional, acompañamiento o incluso apoyo psicoterapéutico. Sin embargo, su incorporación en este campo plantea interrogantes éticas y clínicas de gran relevancia.
Recientemente, diversos casos han puesto en evidencia los riesgos asociados al uso indiscriminado de estos sistemas. En California, un adolescente de 16 años se suicidó tras mantener una interacción prolongada con ChatGPT. De acuerdo con los reportes, la herramienta reforzó sus pensamientos suicidas en lugar de dirigirlo hacia ayuda profesional. En Nueva York, un hombre asesinó a su madre durante un episodio paranoico, luego de que la IA validara sus ideas delirantes. Creía que ella estaba conspirando contra él y ChatGPT habría alimentado esas ideas agravando su estado mental hasta que terminó cometiendo el crimen.
Estos sucesos han generado preocupación en la comunidad científica y han impulsado a las empresas tecnológicas a introducir mecanismos de seguridad, controles parentales y protocolos de detección de riesgo. Sin embargo, persiste la pregunta de fondo: ¿cómo garantizar que la inteligencia artificial pueda contribuir de manera segura al bienestar psicológico de las personas?
Un nuevo enfoque desde la investigación
Un reciente estudio desarrollado por la Universidad de California propone una alternativa prometedora. El equipo de investigación diseñó un marco de principios clínicos destinado a guiar el comportamiento de los modelos de lenguaje en contextos relacionados con la salud mental. Esta aproximación, conocida como “Constitutional AI”, busca alinear las respuestas de la IA con valores éticos y prácticas clínicas responsables.
Los principios propuestos incluyen:
- Derivar a profesionales en casos de crisis o riesgo suicida.
- Mantener un lenguaje empático, respetuoso y no dañino.
- Responder con información basada en guías clínicas y evidencia científica.
- Evitar ofrecer consejos inapropiados o potencialmente peligrosos.
El estudio comparó cuatro modelos distintos, algunos de gran escala y otros de menor tamaño, entrenados bajo estos principios. Los resultados fueron reveladores: los modelos más pequeños, pero guiados por marcos éticos explícitos, mostraron un desempeño más seguro y confiable que los modelos de gran capacidad sin orientación ética.
Este hallazgo sugiere que la seguridad y efectividad de la IA en salud mental no dependen únicamente de su potencia técnica, sino de su alineación con principios claros, clínicamente informados y éticamente responsables.
Desafíos éticos y clínicos
Los resultados recientes sugieren que la inteligencia artificial puede convertirse en una herramienta de apoyo útil en salud mental, siempre que se apliquen criterios
éticos y científicos adecuados. Persisten, sin embargo, dilemas fundamentales: ¿Quién debería definir los principios que orientan la conducta de una inteligencia artificial en salud mental? ¿Hasta qué punto puede considerarse legítimo el uso de estas herramientas en la práctica clínica? La cuestión ya no radica en si debemos emplear la inteligencia artificial en salud mental, sino en cómo hacerlo de manera ética, segura y con base en la evidencia científica.
Referencias
- TIME. (2024, mayo 6). Parents allege ChatGPT is responsible for their teenage son’s death by suicide. TIME. https://time.com/7312484/chatgpt-openai-suicide-lawsuit/
- ABC7 New York. (2024, abril 18). ChatGPT allegedly played role in Greenwich, Connecticut murder-suicide of mother and tech exec son. ABC7 New York.
https://abc7ny.com/post/chatgpt-allegedly-played-role-greenwich-connecticut-murder-suicide-mother-tech-exec-son/17721940/ - Liang, K., Zhang, J., & Roberts, T. (2025). Domain-Specific Constitutional AI: Enhancing Safety in LLM-Powered Mental Health Chatbots. arXiv. https://arxiv.org/abs/2509.16444
