La promesse est facile à vendre. Vous passez un long entretien, vous laissez une IA apprendre votre façon de parler et de travailler, et à partir de là une version de vous peut répondre aux questions à votre place, si bien que plus personne n'a besoin de déranger la vraie personne. Une étude récente a construit exactement ce genre de doublure, puis l'a confrontée aux personnes dont elle était la copie. Le résultat est net et un peu décevant : les copies ressemblaient au groupe, mais pas à l'individu.
Les chercheurs qualifient leurs agents de calibrés sur la distribution mais imprécis sur l'identité. En clair, toute une foule de ces agents produisait à peu près le même éventail d'opinions qu'une foule réelle, et pourtant chaque agent pris isolément représentait mal l'unique humain dont il était issu. Pour démêler ce que cela signifie, Polora a posé la même question à plusieurs modèles d'IA conçus par différentes entreprises et les a fait examiner l'étude ensemble.
Ce que l'étude a mesuré
Le dispositif était direct. Cinquante et un travailleurs du savoir aux États-Unis, tous à des postes riches en documents, ont chacun passé un entretien approfondi sur leur façon de travailler, prévu pour 90 minutes et livrant environ 43 minutes de parole enregistrée en moyenne. À partir de chaque transcription, les chercheurs ont construit un agent personnel, à l'aide d'un procédé qui stocke l'entretien, en récupère les parties utiles quand une nouvelle question se présente, et confie à un modèle de langage le soin de raisonner et de répondre comme ce participant.
Ensuite, les humains et leurs agents ont évalué les quatre mêmes outils d'IA imaginaires pour travailler avec des documents : un qui répond à des questions à travers de nombreux fichiers, un qui met en évidence les passages clés, un qui transforme les documents en audio, et un qui exécute seul des tâches en plusieurs étapes. Chacun était noté selon des mesures simples d'utilité, de facilité d'usage et de disposition à l'adopter ou à le recommander, avec en plus des commentaires écrits libres. Les personnes ont repassé le même test trois jours plus tard, ce qui a donné à l'étude un point de repère sur la constance d'une personne avec elle-même. Le contrôle central était brutal : aligner les réponses de chaque agent sur celles de la personne même à partir de laquelle il avait été construit.
Une foule imitée, une personne non
Au niveau de l'individu, les agents étaient faibles. Sur l'accord exact avec leur propre humain, les agents fondés sur l'entretien coïncidaient environ 30 % du temps, contre à peu près 45 % lorsque les mêmes personnes se contentaient de répondre à nouveau quelques jours plus tard. L'étude présente cela comme environ 67 % de la constance humaine, soit 30 divisé par 45, et non 67 % de réponses justes. Nourrir l'agent de l'entretien complet n'aidait guère : il n'était pas nettement meilleur qu'un agent doté seulement de quelques données démographiques, ni même qu'un agent qui n'avait rien reçu du tout.
Au niveau du groupe, l'image s'inversait. Dès qu'on cessait de demander qui avait dit quoi pour ne regarder que la répartition d'ensemble des réponses, les agents fondés sur l'entretien étaient les plus proches de la répartition réelle. Ils étaient la seule version à reproduire tant soit peu les notes basses et sans enthousiasme. Un agent privé de toute information personnelle s'effondrait vers une valeur refuge, parquant la plupart des réponses en haut de chaque échelle. Ainsi le groupe d'agents ressemblait à un groupe réel, tandis qu'aucun agent isolé ne ressemblait à sa personne réelle.
Pourquoi imiter la foule n'est pas vous imiter
Imaginez dix personnes, cinq qui aiment un concept et cinq qui le rejettent. Une simulation pourrait reproduire parfaitement ce partage à cinq contre cinq tout en se trompant sur chaque personne. L'histogramme est juste et chaque pronostic individuel est faux. C'est une illustration plutôt qu'une affirmation selon laquelle les agents auraient littéralement inversé tout le monde, mais elle montre comment une distribution correcte peut masquer un tas d'erreurs individuelles. La moyenne laisse les fautes se compenser.
Plusieurs raisons ordinaires cadrent avec ce qui s'est passé. Un entretien saisit une partie du monde de quelqu'un, pas toutes les conditions qui décident d'une réaction. Les jugements sur un outil qu'on n'a jamais touché se forment souvent sur le moment, ils ne se lisent pas dans un jeu de préférences déjà arrêté. Là où le compte rendu s'amincit, un modèle comble le vide par un raisonnement plausible et générique qui sonne comme un travailleur type plutôt que comme cette personne précise. Connaître la forme d'un groupe ne dit presque rien de sûr sur tel de ses membres.
Où le lissage se voit
Les réponses écrites rendent l'écart concret. Pour l'outil audio, humains et agents soulevaient les mêmes préoccupations de premier plan : l'exactitude, la confidentialité, l'insertion dans les logiciels existants. Mais environ 30 % des personnes réelles rejetaient l'idée d'emblée, certaines disant qu'elles ne l'utiliseraient en aucune circonstance, alors qu'un seul agent opposait un refus aussi ferme. Les personnes nommaient des points rédhibitoires précis, comme travailler sur un ordinateur de bureau plutôt que sur un téléphone, ou le besoin de lire un document plutôt que de l'entendre, ou encore une règle de conformité dans leur entreprise. Les agents tendaient à requalifier ces refus catégoriques en problèmes qu'une amélioration pourrait résoudre.
Cette différence compte, car « je l'adopterais s'il s'améliorait » n'est pas la même réponse que « cela ne convient pas à mon travail ». Les agents obtenaient aussi leur pire note sur la voix et le ton, produisant une prose bien rangée là où les gens parlaient de façon désordonnée, hésitante, parfois contradictoire. Une réserve a sa place ici : ces comparaisons qualitatives ont été notées par des juges IA qui ne s'accordaient que modérément entre eux, elles sont donc un appui, pas un verdict définitif.
Ce que cela signifie pour une copie de vous-même
Si un fournisseur ou une équipe de recherche vous propose un personnage fait de votre propre entretien et affirme qu'il peut vous représenter, cette étude est une raison de prudence. La lecture la plus sûre est que ses nouvelles réponses sont des prédictions à votre sujet, non des déclarations de votre part. Un vocabulaire familier et des références à votre métier montrent qu'il a utilisé votre matière. Ils ne montrent pas que ses conclusions vous représentent.
En pratique, cela veut dire qu'un personnage construit à partir de vos mots ne doit pas être chargé de reproduire vos refus, d'expliquer pourquoi vous hésiteriez, ni de juger comment un outil s'insérerait dans votre travail réel. Il ne doit pas consentir à votre place, décider à votre place, ni être cité comme votre avis. Toute réponse qui serait employée comme si vous l'aviez dite doit vous revenir pour confirmation.
Où elle gagne sa place, et où elle ne l'a pas
Il reste un usage réel, mais étroit. Parce qu'un groupe de ces agents ressemble à un groupe réel, ils peuvent servir de premier filtre bon marché : trier de nombreux concepts bruts avant de dépenser en prototypes, comparer de grandes orientations comme plus d'automatisation contre plus de contrôle, ou produire des objections et des questions candidates à porter ensuite dans une vraie étude. L'étude situe le coût de fonctionnement bien au-dessous d'une séance humaine, environ 1,27 dollar contre à peu près 12,50 dollars, même s'il n'est pas tout à fait clair que les deux chiffres se mesurent sur la même unité de travail.
Là où elle n'a pas sa place, c'est partout où la tâche consiste à être une personne précise. Elle ne peut pas parler pour un participant nommé, établir les seuils de confiance ou d'adoption de quelqu'un, remplacer des entretiens quand ce sont les détails du travail qui comptent, ni transformer un commentaire synthétique en témoignage de client. Même l'usage de filtrage s'accompagne d'un avertissement : coïncider avec la répartition des réponses d'aujourd'hui ne prouve pas que les agents classeraient correctement les concepts de demain, cela reste donc une idée prometteuse plutôt qu'une démonstration.
Une étude, pas un verdict
C'est une étude unique et circonscrite à un domaine : 51 travailleurs du savoir américains, quatre outils documentaires imaginaires, une seule manière de construire les agents. Elle ne prouve pas qu'une simulation personnelle fidèle soit impossible, et de meilleures méthodes pourront réduire l'écart. Ce qu'elle fait, c'est déplacer la charge de la preuve au bon endroit. Ancrer un agent dans vos mots n'est pas la même chose que d'en faire votre représentant, et cette seconde prétention doit désormais être démontrée, non supposée.
La règle de travail qui en découle est simple. Servez-vous d'une foule de ces agents quand vous n'avez besoin que de la foule, pour un signal d'ensemble rapide et grossier. Servez-vous de personnes réelles pour tout ce qui doit être une personne précise, y compris vos propres décisions sur un outil qui viendrait se loger au cœur de votre travail.
