La promesa es fácil de vender. Siéntate para una entrevista larga, deja que una IA aprenda tu forma de hablar y de trabajar y, a partir de ahí, una versión de ti podrá responder preguntas en tu lugar, de modo que nadie tenga que volver a molestar a la persona real. Un estudio reciente construyó exactamente esa clase de sustituto y luego lo comparó con las personas de las que fue copiado. El hallazgo es nítido y algo decepcionante : las copias se parecían al grupo, pero no a la persona.
Los investigadores describen a sus agentes como calibrados en la distribución, pero imprecisos en la identidad. Dicho de forma sencilla, todo un conjunto de estos agentes producía más o menos la misma mezcla de opiniones que produjo un grupo de personas real, y sin embargo cada agente por separado era un sustituto poco fiable del único humano en el que se basaba. Para entender qué significa esto, Polora planteó la misma pregunta a varios modelos de IA creados por distintas empresas y les pidió que examinaran el estudio en conjunto.
Qué midió el estudio
El montaje fue directo. Participaron 51 trabajadores del conocimiento en Estados Unidos, todos en puestos con mucho manejo de documentos, y cada uno se sometió a una entrevista detallada sobre su forma de trabajar, prevista para 90 minutos y que dejó de media unos 43 minutos de habla grabada. A partir de cada transcripción, los investigadores construyeron un agente personal, mediante un sistema que guarda la entrevista, recupera las partes relevantes cuando surge una nueva pregunta y hace que un modelo de lenguaje razone y responda como ese participante.
Después, tanto las personas como sus agentes evaluaron las mismas cuatro herramientas de IA imaginadas para trabajar con documentos : una que responde preguntas a través de muchos archivos, otra que resalta los pasajes clave, otra que convierte documentos en audio y otra que ejecuta por su cuenta tareas de varios pasos. Cada una se puntuó con medidas sencillas de utilidad, facilidad de uso y disposición a adoptarla o recomendarla, junto con comentarios escritos abiertos. Las personas repitieron la misma prueba tres días después, lo que dio al estudio una referencia de hasta qué punto una persona es coherente consigo misma. La comprobación central fue tajante : alinear las respuestas de cada agente con las respuestas de la propia persona a partir de la cual se construyó.
El grupo coincidió, la persona no
En el plano del individuo, los agentes fueron flojos. En coincidencia exacta con su propio humano, los agentes basados en la entrevista acertaban alrededor del 30 % de las veces, frente a cerca del 45 % cuando esas mismas personas simplemente respondían de nuevo días después. El estudio lo plantea como en torno al 67 % de la coherencia humana, que es 30 dividido entre 45, no un 67 % de respuestas correctas. Alimentar al agente con la entrevista completa apenas ayudó : no era claramente mejor que un agente al que solo se le daban unos pocos datos demográficos, o incluso que uno al que no se le daba nada.
En el plano del grupo, la imagen se invirtió. Cuando se dejaba de preguntar quién dijo qué y se miraba solo el reparto general de las respuestas, los agentes basados en la entrevista eran los que más se acercaban al reparto real. Eran la única versión que reproducía siquiera las puntuaciones bajas y poco entusiastas. Un agente sin ninguna información personal se desplomaba hacia una respuesta segura por defecto y amontonaba casi todas sus respuestas cerca de lo más alto de cada escala. Así, el grupo de agentes se parecía a un grupo real, mientras que cualquiera de ellos por separado no se parecía a su persona real.
Por qué parecerse al grupo no es parecerse a ti
Imagina diez personas, cinco a las que les gusta una idea y cinco a las que no. Una simulación podría reproducir a la perfección ese reparto de cinco y cinco y a la vez equivocarse con cada persona una por una. El histograma acierta y, persona a persona, todo son fallos. Es una ilustración más que la afirmación de que los agentes literalmente invirtieron el juicio de todos, pero muestra cómo una distribución correcta puede ocultar un montón de errores individuales. El promedio deja que los errores se cancelen entre sí.
Varias razones corrientes encajan con lo ocurrido. Una entrevista capta una parte del mundo de alguien, no todas las condiciones que deciden una reacción. Los juicios sobre una herramienta que nunca has tocado suelen construirse en el momento, no leerse de un conjunto de preferencias ya asentado. Donde el registro se queda corto, un modelo rellena el hueco con un razonamiento verosímil y genérico que suena a trabajador típico más que a este trabajador en concreto. Conocer la forma de un grupo no dice casi nada seguro sobre un miembro concreto de ese grupo.
Dónde se nota el alisado
Las respuestas escritas hacen el hueco tangible. Para la herramienta de audio, personas y agentes plantearon las mismas preocupaciones de fondo : la exactitud, la privacidad, el encaje con el software que ya usan. Pero alrededor del 30 % de las personas reales rechazaron la idea de plano, y algunas dijeron que no la usarían bajo ninguna circunstancia, mientras que solo un agente se opuso con esa firmeza. Las personas nombraron obstáculos concretos e insalvables, como trabajar en un ordenador de escritorio y no en un teléfono, o necesitar leer un documento en lugar de escucharlo, o una norma de cumplimiento de su empresa. Los agentes tendían a reformular esos límites tajantes como problemas que alguna mejora podría resolver.
Esa diferencia importa porque "lo adoptaría si mejorara" no es la misma respuesta que "esto no encaja en mi trabajo". Los agentes también obtuvieron su peor resultado en voz y tono, y produjeron una prosa pulcra allí donde las personas hablaban de forma desordenada, dubitativa y a veces contradictoria. Cabe una advertencia aquí : estas comparaciones cualitativas fueron calificadas por jueces de IA que solo coincidían entre sí de forma moderada, así que son un indicio de apoyo, no un veredicto final.
Qué significa para una copia de ti mismo
Si un proveedor o un equipo de investigación te ofrece un perfil hecho a partir de tu propia entrevista y afirma que puede sustituirte, este estudio es un motivo de cautela. La lectura más prudente es que sus nuevas respuestas son predicciones sobre ti, no afirmaciones tuyas. Un vocabulario familiar y las referencias a tu trabajo muestran que usó tu material. No muestran que sus conclusiones te representen.
En la práctica, eso significa que a un perfil construido con tus palabras no se le debe confiar la tarea de reproducir tus vetos, de explicar por qué dudarías o de juzgar cómo encajaría una herramienta en tu flujo de trabajo real. No debe consentir en tu nombre, decidir en tu nombre ni ser citado como tu opinión. Cualquier respuesta que fuera a usarse como si la hubieras dicho tú debe volver a ti para que la confirmes.
Dónde resulta útil y dónde no
Sigue habiendo un uso real, aunque estrecho. Como un grupo de estos agentes se parece a un grupo real, pueden servir de primer filtro barato : cribar muchas ideas en bruto antes de gastar en prototipos, comparar direcciones generales como más automatización frente a más control, o generar posibles objeciones y preguntas para llevarlas luego a una investigación real. El estudio sitúa el coste de funcionamiento muy por debajo del de una sesión con una persona, unos 1,27 dólares frente a unos 12,50 dólares, aunque no queda del todo claro que ambas cifras se midan sobre la misma unidad de trabajo.
Donde no tiene cabida es en cualquier caso en el que el cometido sea ser una persona concreta. No puede hablar por un participante con nombre y apellidos, establecer las barreras de confianza o de adopción de alguien, sustituir a las entrevistas cuando lo que importa son los detalles del flujo de trabajo, ni convertir un comentario sintético en un testimonio de cliente. Incluso el uso como filtro viene con una advertencia : reproducir el reparto de las respuestas de hoy no demuestra que los agentes fueran a ordenar correctamente las ideas de mañana, de modo que sigue siendo una idea prometedora más que una demostrada.
Un estudio, no un veredicto
Este es un único estudio, ligado a un ámbito concreto : 51 trabajadores del conocimiento estadounidenses, cuatro herramientas de documentos imaginadas, una sola manera de construir los agentes. No demuestra que una simulación personal fiel sea imposible, y métodos mejores podrían estrechar el hueco. Lo que hace es trasladar la carga de la prueba a donde corresponde. Basar un agente en tus palabras no es lo mismo que lograr que te sustituya, y esa segunda afirmación ahora hay que demostrarla, no darla por supuesta.
La regla de trabajo que se desprende es sencilla. Usa un grupo de estos agentes cuando solo necesites al grupo, para una señal agregada rápida y aproximada. Usa a personas reales para todo lo que tenga que ser una persona concreta, incluidas tus propias decisiones sobre una herramienta que va a quedar dentro de tu trabajo.
