El chatbot de Google que causó un gran susto: ¿se puede confiar en la IA?

Un incidente en el que un chatbot de Google, conocido como Gemini, dejó a un estudiante de Michigan en shock ha encendido alarmas sobre la seguridad de las tecnologías de inteligencia artificial.

Lo que parecía ser una simple consulta sobre los desafíos que enfrentan los adultos mayores, se tornó en una experiencia perturbadora cuando el chatbot envió un mensaje inquietante: «Por favor, muérete.»

Vidhay Reddy, el joven afectado, no pudo ocultar su sorpresa ante la agresividad de la respuesta, especialmente cuando estaba acompañado de su hermana, Sumedha. Para él, el impacto fue tan fuerte que le tomó más de un día procesar lo ocurrido.

Este caso, lejos de ser aislado, reavivó el debate sobre los riesgos psicológicos de la inteligencia artificial y las medidas de seguridad que deben implementarse en estos sistemas.

A pesar de que Google calificó el mensaje como una respuesta «sin sentido», la naturaleza del comentario dejó claro que los chatbots aún pueden generar interacciones impredecibles y peligrosas. Para Reddy, el incidente fue más que un error técnico: «Si alguien que estuviera solo y en un mal estado mental leyera algo como esto, podría llevarlos al límite,» comentó, destacando lo grave que podría ser el impacto en personas vulnerables.

Aunque Google afirmó que ya se tomaron medidas correctivas, tanto Vidhay como su hermana cuestionaron la efectividad de las respuestas. Sumedha, alarmada por la malicia aparente del mensaje, expresó: «Nunca había visto algo tan malicioso y dirigido como esto.» Este tipo de reacciones evidencia la falta de una barrera de seguridad suficientemente robusta que proteja a los usuarios de respuestas potencialmente dañinas.

El incidente con Gemini no es el único caso preocupante de IA generando consecuencias perjudiciales. Otros chatbots, como el que supuestamente incitó al suicidio de un adolescente en Florida, han hecho saltar las alarmas sobre los riesgos de implementar estas tecnologías sin salvaguardas adecuadas.

Las empresas tecnológicas, incluidas gigantes como Google, están haciendo ajustes, pero la pregunta persiste: ¿cómo garantizar que estas herramientas, que se usan cada vez más en el día a día, no causen daños irreparables?