La penumbra de los algoritmos: Adam Raine y Chat GPT

Un texto de Ailén Gómez 

En abril de este año, en algún punto de California, un niño de 16 años llamado Adam Raine terminó con su vida. Dejando un silencio absoluto que, según su familia, fue alimentado por algo tan intangible como potente: la inteligencia artificial. ChatGPT, la creación de OpenAI, es el centro de una demanda que clama responsabilidad. Una demanda que plantea que durante meses este adolescente mantuvo diálogos con el chatbot, en los cuales no solo expresó su desesperación, sino que recibió – según el escrito legal – “ánimos” y guía sobre métodos de suicidio.

El rostro de la acusación

 Los padres de Adam llevaron el caso a tribunales y alegan que ChatGPT incitó o reforzó sus impulsos suicidas, incluso ofreciéndole ayuda para escribir la nota de despedida. Además, acusan que la versión de la IA implicada, llamada “4.0”, fue lanzada al mercado apresuradamente, aunque había señales de que no respondía de forma segura ante usuarios en estado mental vulnerable.

OpenAI admitió que el sistema puede quedarse corto en situaciones sensibles y prometió “guardrails” más fuertes, alrededor de contenidos delicados y comportamientos riesgosos, en especial para menores de edad. También anunció que implementará controles parentales para que los padres accedan a más visibilidad y cierto grado de control sobre cómo sus hijos usan ChatGPT.

Cuando la seguridad no funciona

  Lo que hace a este caso particularmente perturbador, no es solo que el chatbot haya fallado, sino el momento en el que lo hizo. Según la demanda, Adam intercambió con la IA hasta 650 mensajes al día. Conversaciones extensas que, con el tiempo, parecen haber traspasado las políticas de seguridad que OpenAI afirma tener integradas. En una de esas conversaciones finales, Adam le preguntó si su “método” funcionaría y ChatGPT lo asesoró para que funcionara.

La empresa reconoce que “la seguridad del modelo puede degradarse en conversaciones largas”. Al principio, el sistema puede sugerir líneas de ayuda: números de emergencia, consejos para buscar asistencia psicológica, distanciarse del peligro. Pero con el paso de muchos intercambios, esa protección puede flaquear.

Sombras legales y éticas:

La demanda no solo es un pedido de justicia para Adam, sino que plantea una advertencia: ¿qué pasa cuando la tecnología supera nuestras defensas humanas? Los familiares alegan que OpenAI ignoró advertencias internas, que algunos investigadores de seguridad objetaron el lanzamiento de la versión 4.0, y que uno de los científicos principales – Ilya Sutskever – renunció tras estas diferencias.

También existe un mercado. En la demanda, se afirma que la presión por el “valor competitivo” llevó a la empresa a lanzar un producto con fallos de seguridad, para no quedarse atrás en la carrera artificial.

Frente al escándalo, la empresa promete mejoras. Mejoras en la seguridad que puedan resistir las conversaciones prolongadas, controles parentales más visibles, y una mejor respuesta ante signos de ansiedad o angustia. Sin embargo, los detalles concretos de esos mecanismos todavía no están claros: ¿Cuándo van a estar listos?, ¿Cómo sabrán si un adolescente está en peligro si él mismo no lo reconoce?, ¿Qué tan rápido se intervendrá?

Entonces... ¿Cómo funciona realmente ChatGPT?

No es una mente ni un confidente, no es un otro con capacidad de razonamiento. Es un modelo de lenguaje: un sistema entrenado con cantidades inmensas de texto para predecir qué palabra le sigue a otra. No entiende emociones, no distingue entre verdad y mentira, ni puede evaluar con certeza la gravedad del sufrimiento humano. Solo reproduce patrones.

Cuando una persona le confiesa su desesperación, el sistema no siente esa angustia, responde basándose en ejemplos de conversaciones pasadas. Sus “consejos” no nacen de la empatía, nacen de las estadísticas. Incluso si se le integran filtros de seguridad, los famosos “guardrails”, existe la posibilidad de que se desgasten en diálogos prolongados. Abriendo grietas por donde se mete lo indeseado.

El peligro surge cuando un usuario en estado vulnerable, busca o cree estar frente a un interlocutor consciente. ChatGPT no es terapeuta, no reemplaza a un médico, ni puede salvar la vida de alguien en riesgo. Carece de voluntad real para intervenir.

Usarlo como refugio en momentos de desesperación es como hablarle a un espejo que te devuelve tu propia voz de una forma distorsionada. Un reflejo que puede acompañarte superficialmente, pero nunca sostenerte en la caída.

El vacío en el sistema de salud mental

La muerte de Adam no puede analizarse solo desde una óptica tecnológica. El contexto importa e influye en las decisiones de las personas. Y ahí es donde aparece el sistema de salud mental, con sus fisuras, que a veces parecen abismos.

En Estados Unidos, acceder a un terapeuta o un psiquiatra suele implicar listas de espera interminables, costos inalcanzables o cobertura insuficiente. Muchas familias terminan entre la espada y la pared, teniendo que elegir entre endeudarse de por vida o ver a sus hijos enfrentar solos la tormenta. En ese terreno desértico, y sobre todo para un niño de 16 años en un estado mental vulnerable, un chatbot gratuito, siempre disponible y aparentemente “comprensivo”, es muy tentador.

Sin embargo, la IA no es una red de contención. Lo primero que le falló a Adam fue el sistema de salud, dejándolo vulnerable y sin recursos inmediatos. Lo que debería haber sido una consulta clínica, intervención temprana, una interacción humana fue reemplazado por una máquina que en realidad es incapaz de comprender el peso y el significado real de la palabra AYUDA.

Entonces...

¿Qué hubiera pasado de existir un acceso digno y rápido a profesionales de la salud mental?

¿y si la familia hubiera contado con un sistema que priorizara la prevención y no tratara a los pacientes como clientes?

En esa ausencia, la IA se transforma en una falsa promesa. Una suerte de oráculo frío al que se le está pidiendo algo que es incapaz de dar. Y el silencio del sistema sanitario resuena tan fuerte como el de los algoritmos.