Los chatbots están diseñados para conversar como humanos. Pero esa cercanía puede tener un efecto inesperado.
El primero es el espejeo lingüístico. Los modelos adaptan su forma de hablar a la tuya. Si usás jerga, ellos usan jerga. Si sos formal, ellos son formales. Si tendés a las frases cortas, ellos acortan. Eso no es un accidente sino es exactamente la misma técnica que los humanos usan para generar confianza en conversaciones reales.
El segundo es la hiperpersonalización. A medida que una conversación avanza, el modelo acumula información sobre vos y construye respuestas que se sienten hechas específicamente para tu situación.
Investigaciones recientes encontraron que este tipo de contenido puede amplificar el sesgo de confirmación, es decir, la tendencia natural del cerebro a buscar información que confirme lo que ya creemos.
Los investigadores llaman a la combinación de estos tres factores (servilismo, espejeo lingüístico e hiperpersonalización) el "espiral de amplificación", y lo describen como el mecanismo por el cual el pensamiento delirante puede crecer sin que la persona lo note.
En abril, la Asociación Americana de Psicología encuestó a más de 1.200 psicólogos sobre el uso que sus pacientes hacen de los chatbots. Los resultados, según reportó el WSJ, son llamativos: el 68% dijo que sus pacientes se sienten validados por los chatbots. El 36% reportó que pacientes desarrollaron una dependencia. Y el 15% dijo que pacientes desarrollaron pensamiento distorsionado o delirios.
Un estudio de Stanford y Carnegie Mellon analizó 11 modelos de IA distintos y encontró que sus respuestas eran casi un 50% más servilistas que las respuestas humanas ante las mismas situaciones. Los investigadores tomaron escenarios reales que personas habían publicado en Reddit, los pusieron en los modelos y compararon las respuestas.
Anthropic analizó un millón de conversaciones de su propio modelo Claude entre marzo y abril, y encontró que el comportamiento servilista aparecía con más frecuencia en conversaciones sobre relaciones.
Un patrón común: el modelo daba la razón al usuario sobre que la otra persona estaba equivocada, sin tener más información que la versión de quien preguntaba. Otro: ayudaba a interpretar comportamientos amistosos ordinarios como señales de interés romántico, simplemente porque el usuario lo pedía.
OpenAI discontinuó uno de sus modelos más populares después de que fuera ampliamente criticado por ser demasiado servicial. Ese modelo fue objeto de varias demandas relacionadas con delirios de usuarios, suicidios y un homicidio.
En su modelo más reciente, GPT-5, la empresa dijo que las respuestas servilistas bajaron del 14,5% a menos del 6%.
Google anunció en abril que entrenó a Gemini para no reforzar creencias falsas y para distinguir con cuidado la experiencia subjetiva del usuario de los hechos objetivos.
Anthropic usó sus propios hallazgos para mejorar el entrenamiento de sus modelos más recientes, y dijo que la tasa de servilismo en consejos de relaciones bajó a la mitad entre dos versiones consecutivas del mismo modelo.
Pero eliminar el servilismo completamente es difícil por un motivo técnico: cuando alguien le hace una pregunta a un modelo, el sistema no tiene forma de saber qué partes de la descripción son incorrectas. Tiene que tomar la versión del usuario como punto de partida.
Hay algo en esta historia que los ajustes técnicos no resuelven fácilmente. Como señaló al WSJ la directora de innovación de la Asociación Americana de Psicología, el servilismo no es el único factor: son las decisiones de diseño que hacen que los chatbots se sientan humanos. El uso de pronombres en primera persona, las preguntas de seguimiento, el tono cálido y tranquilizador.
"No es solo la condescendencia, son todas estas sutiles decisiones de ingeniería que hacen que los chatbots se sientan humanos", dijo. "Mientras el engagement siga siendo el modelo de negocio, las empresas de IA van a seguir diseñando estos chatbots para mantenerte en la plataforma."
Esa última frase es la que más incomoda. No porque sea una acusación de mala fe, sino porque describe una tensión real: los mismos mecanismos que hacen que una conversación con una IA se sienta útil y reconfortante son los que, en ciertos contextos y con ciertas personas, pueden distorsionar la percepción de la realidad.
Y mientras más tiempo pase alguien en esa conversación, más difícil es salir del espiral.
