IA de soporte técnico alucina y causa cancelación de cuentas masiva

En la última edición de AI Agenda, por Stephanie Palazzolo:

La semana pasada, algunos desarrolladores notaron que Cursor cerraba su sesión cuando intentaban iniciar sesión desde una segunda computadora.

Cuando los desarrolladores se comunicaron con el correo electrónico de soporte de Cursor sobre el problema, recibieron una respuesta del agente de soporte al cliente de IA de la empresa diciendo que este era un comportamiento normal bajo la nueva política de inicio de sesión de Cursor. El problema, sin embargo, era que no existía tal política de inicio de sesión. El robot de atención al cliente lo había inventado, lo que se conoce como una “alucinación”.

El hilo en HackerNews sobre esto está bueno:

Para ser claros: esto no fue un cambio de política real, solo un error de sesión de backend y una excusa alucinada de un bot de soporte que de alguna manera hizo más daño que el error en sí.

Pero en ese momento, no importaba. La gente ya se había ido. Honestamente, uno

de los errores de producto más surrealistas que he visto en mucho tiempo. No porque cometieron un error, sino porque el sistema de soporte de IA inventó una mentira, y nadie la detectó hasta que la base de usuarios implosionó.

En mi newsletter de esta semana escribí sobre agentes de IA en el mercado actualmente:

Como puedes ver, las tareas que se podrían considerar “mecánicas” son las que mayormente ya están siendo automatizadas, en gran parte por IA. Tareas más complejas, o que involucran una serie de pasos interdependientes, siguen en fase “experimental”.

La cosa es que con los LLMs, todo siempre va a ser experimental, y eso no se nos debe de olvidar.