A promessa é fácil de vender. Você senta para uma entrevista longa, deixa uma IA aprender como você fala e trabalha e, daí em diante, uma versão sua responde às perguntas em seu lugar, de modo que ninguém precisa mais incomodar a pessoa de verdade. Um estudo recente construiu exatamente esse tipo de substituto e depois o confrontou com as pessoas de quem foi copiado. O resultado é limpo e um pouco desanimador : as cópias se pareciam com o grupo, mas não com a pessoa.
Os pesquisadores chamam seus agentes de calibrados para a distribuição, porém imprecisos quanto à identidade. Em palavras simples, um conjunto inteiro desses agentes produziu mais ou menos a mesma mistura de opiniões que um conjunto real de pessoas produziu, e ainda assim cada agente isolado era um substituto pouco confiável do único humano em que foi baseado. Para entender o que isso significa, a Polora colocou a mesma pergunta diante de vários modelos de IA criados por empresas diferentes e os fez examinar o estudo em conjunto.
O que o estudo mediu
A montagem foi direta. Foram 51 trabalhadores do conhecimento nos Estados Unidos, todos em funções cheias de documentos. Cada um passou por uma entrevista aprofundada sobre a própria rotina de trabalho, prevista para 90 minutos e rendendo cerca de 43 minutos de fala gravada em média. A partir de cada transcrição, os pesquisadores construíram um agente pessoal, usando um encadeamento que guarda a entrevista, recupera as partes relevantes quando surge uma nova pergunta e faz um modelo de linguagem raciocinar e responder como aquele participante.
Depois, tanto os humanos quanto seus agentes avaliaram as mesmas quatro ferramentas de IA imaginadas para lidar com documentos : uma que responde perguntas cruzando muitos arquivos, uma que destaca trechos importantes, uma que transforma documentos em áudio e uma que executa tarefas de vários passos por conta própria. Cada uma foi pontuada por medidas simples de utilidade, facilidade de uso e disposição de adotar ou recomendar, junto com comentários escritos em texto livre. As pessoas refizeram o mesmo teste três dias depois, o que deu ao estudo um parâmetro de quão consistente uma pessoa é até consigo mesma. A verificação central foi seca : alinhar as respostas de cada agente com as respostas exatamente da pessoa de quem ele foi construído.
O grupo bateu, uma pessoa não
No nível do indivíduo, os agentes eram fracos. Na concordância exata com o próprio humano, os agentes baseados na entrevista acertavam cerca de 30% das vezes, contra aproximadamente 45% quando as mesmas pessoas simplesmente respondiam de novo dias depois. O estudo apresenta isso como cerca de 67% da consistência humana, que é 30 dividido por 45, e não 67% de respostas certas. Alimentar o agente com a entrevista completa quase não ajudou : ele não era claramente melhor do que um agente que recebia apenas alguns dados demográficos, ou até do que um que não recebia nada.
No nível do grupo, o quadro se inverteu. Quando você parava de perguntar quem disse o quê e olhava apenas para a dispersão geral das respostas, os agentes baseados na entrevista eram os que mais se aproximavam da dispersão real. Foi a única versão que reproduziu as notas baixas e sem entusiasmo. Um agente sem nenhuma informação pessoal simplesmente desabava para um padrão seguro, estacionando quase todas as respostas no topo de cada escala. Assim, o grupo de agentes parecia um grupo real, enquanto qualquer agente isolado não parecia a sua pessoa real.
Por que acertar a multidão não é acertar você
Imagine dez pessoas, cinco que gostam de uma ideia e cinco que não gostam. Uma simulação poderia reproduzir essa divisão de cinco e cinco com perfeição e, ainda assim, inverter cada uma das pessoas. O gráfico de barras fica certo e cada palpite individual fica errado. Isso é uma ilustração, e não uma afirmação de que os agentes literalmente inverteram todo mundo, mas mostra como uma distribuição correta pode esconder uma pilha de erros individuais. A média deixa os enganos se cancelarem.
Vários motivos comuns explicam o que aconteceu. Uma entrevista capta parte do mundo de alguém, não cada condição que decide uma reação. Julgamentos sobre uma ferramenta que você nunca tocou costumam ser montados na hora, e não lidos de um conjunto assentado de preferências. Onde o registro fica ralo, um modelo preenche a lacuna com um raciocínio plausível e genérico, que soa como um trabalhador típico e não como este trabalhador. Conhecer o formato de um grupo quase nada garante sobre um de seus membros em particular.
Onde o alisamento aparece
As respostas escritas tornam a diferença concreta. Para a ferramenta de áudio, humanos e agentes levantaram as mesmas preocupações principais : precisão, privacidade, encaixe nos programas que já usam. Mas cerca de 30% das pessoas reais rejeitaram a ideia por completo, algumas dizendo que não a usariam em circunstância nenhuma, enquanto apenas um único agente resistiu com essa firmeza. As pessoas apontaram impeditivos específicos, como trabalhar num computador de mesa e não no celular, ou precisar ler um documento em vez de ouvi-lo, ou uma regra de conformidade na sua empresa. Os agentes tendiam a reformular esses impedimentos definitivos como problemas que alguma melhoria poderia resolver.
Essa diferença importa porque "eu adotaria isto se melhorasse" não é a mesma resposta que "isto não serve para o meu trabalho". Os agentes também foram os piores em voz e tom, produzindo uma prosa arrumada onde as pessoas falavam de modo confuso, hesitante e às vezes contraditório. Cabe aqui uma ressalva : essas comparações qualitativas foram avaliadas por juízes de IA que concordavam entre si apenas de forma moderada, então são evidência de apoio, e não um veredito final.
O que isso significa para uma cópia de você mesmo
Se um fornecedor ou uma equipe de pesquisa lhe oferecer uma persona feita da sua própria entrevista e disser que ela pode ficar no seu lugar, este estudo é um motivo de cautela. A leitura mais segura é que as respostas novas dela são previsões sobre você, e não declarações suas. Um vocabulário familiar e referências ao seu trabalho mostram que ela usou o seu material. Não mostram que as conclusões dela representam você.
Na prática, isso quer dizer que uma persona construída das suas palavras não deve ser tratada como capaz de reproduzir os seus vetos, de explicar por que você hesitaria ou de julgar como uma ferramenta se encaixaria no seu fluxo de trabalho real. Ela não deve consentir por você, decidir por você nem ser citada como a sua opinião. Qualquer resposta que fosse usada como se você a tivesse dito precisa voltar a você para confirmação.
Onde ela vale o preço e onde não vale
Ainda existe um uso real, mas estreito. Como um grupo desses agentes se parece com um grupo real, eles podem servir de primeiro filtro barato : peneirar muitas ideias iniciais antes de gastar com protótipos, comparar direções amplas como mais automação contra mais controle, ou gerar objeções e perguntas candidatas para levar à pesquisa de verdade. O estudo coloca o custo de operação bem abaixo de uma sessão humana, algo em torno de US$ 1,27 contra cerca de US$ 12,50, embora não fique totalmente claro que os dois valores sejam medidos sobre a mesma unidade de trabalho.
Onde ela não cabe é em qualquer situação cuja tarefa seja ser uma pessoa específica. Ela não pode falar por um participante nomeado, estabelecer as barreiras de confiança ou de adoção de alguém, substituir entrevistas quando os detalhes do fluxo de trabalho são o ponto central, nem transformar um comentário sintético em depoimento de cliente. Até o uso como filtro vem com um aviso : acompanhar a dispersão das respostas de hoje não prova que os agentes classificariam corretamente as ideias de amanhã, então continua sendo uma promessa e não algo demonstrado.
Um estudo, não um veredito
Este é um estudo único e limitado a um domínio : 51 trabalhadores do conhecimento norte-americanos, quatro ferramentas de documento imaginadas, uma única maneira de construir os agentes. Ele não prova que uma simulação pessoal fiel seja impossível, e métodos melhores podem estreitar a distância. O que ele faz é mover o ônus da prova para o lugar certo. Basear um agente nas suas palavras não é o mesmo que fazê-lo ficar no seu lugar, e essa segunda afirmação agora precisa ser demonstrada, não presumida.
A regra prática que sai disso é simples. Use um grupo desses agentes quando você só precisa do grupo, para um sinal agregado rápido e grosseiro. Use pessoas reais para tudo que tenha de ser uma pessoa em particular, incluindo as suas próprias decisões sobre uma ferramenta que ficaria dentro do seu trabalho.
