연구진이 직장인 한 명 한 명의 인터뷰로 AI 에이전트를 만들어 본인과 견주었더니, 집단의 답 분포는 따라갔지만 개인은 맞히지 못했다.
해설 대상 : Interview-Informed Generative Agents for Product Discovery: A Validation Study, Zichao Wang et al., 2026-03-10, v1 원문 보기
AI와 사회 · 2026-09-09
팔기 쉬운 약속이다. 긴 인터뷰에 한 번 응하고 AI가 당신이 말하고 일하는 방식을 익히게 하면, 그다음부터는 당신을 본뜬 복제본이 당신 대신 질문에 답해 주므로 이제 아무도 진짜 당신을 다시 귀찮게 할 필요가 없다. 최근 한 연구가 바로 그런 대역을 만들어, 그 대역이 본뜬 실제 사람들과 견주어 보았다. 결과는 분명하면서도 조금 맥이 빠진다. 그 복제본은 집단은 닮았지만 개인은 닮지 않았다.
연구진은 자기 에이전트를 두고 '분포는 맞지만 개인은 부정확하다'고 표현한다. 쉽게 말하면, 이런 에이전트를 잔뜩 모아 놓으면 실제 사람들이 낸 의견의 비율은 대체로 재현하지만, 에이전트 하나하나는 자기가 본떠 만든 그 한 사람을 미덥지 못하게 대신했다는 뜻이다. 이 말이 무슨 뜻인지 짚어 보려고, 폴로라는 여러 회사가 만든 여러 AI 모델에게 같은 질문을 던지고 이 연구를 함께 살펴보게 했다.
이 연구가 잰 것
설정은 단순했다. 문서를 많이 다루는 일을 하는 미국의 지식 노동자 51명이 각자 자기 업무 흐름을 깊이 들여다보는 인터뷰에 응했다. 인터뷰는 90분으로 잡혀 있었고, 실제 녹음된 발언은 평균 43분쯤이었다. 연구진은 녹취록 하나하나에서 개인 에이전트를 하나씩 만들었다. 이 방식은 인터뷰를 저장해 두었다가 새 질문이 들어오면 관련된 대목을 찾아오고, 언어 모델이 그 사람인 것처럼 추론해 답하게 한다.
그런 다음 사람과 그 에이전트가 똑같이, 문서를 다루는 데 쓰는 상상 속 AI 도구 네 가지를 평가했다. 여러 파일을 넘나들며 질문에 답하는 것, 중요한 대목을 짚어 주는 것, 문서를 소리로 바꿔 주는 것, 여러 단계를 스스로 밟아 일을 해내는 것이다. 각 도구는 얼마나 쓸모 있는지, 쓰기 쉬운지, 받아들이거나 남에게 권할 마음이 드는지 같은 평이한 잣대로 점수를 매겼고, 자유롭게 적는 서술형 의견도 함께 받았다. 사람들은 사흘 뒤 같은 평가를 한 번 더 했는데, 이는 한 사람이 자기 자신과도 얼마나 일관되는지를 재는 기준이 되어 주었다. 핵심 점검은 단도직입적이었다. 각 에이전트의 답을 그 에이전트를 만든 바로 그 사람의 답과 나란히 놓고 맞춰 보는 것이었다.
개인 수준에서 에이전트는 약했다. 자신이 본뜬 실제 사람과 정확히 일치하는지를 보면, 인터뷰로 만든 에이전트는 30%쯤 맞았다. 같은 사람들이 사흘 뒤 다시 답했을 때의 45%쯤과 견주어서다. 연구는 이를 사람이 보이는 일관성의 67%쯤이라고 표현하는데, 이는 30을 45로 나눈 값이지 답의 67%가 맞았다는 뜻이 아니다. 에이전트에 인터뷰 전체를 넣어 줘도 도움은 거의 없었다. 인구통계 몇 가지만 준 에이전트나 아무것도 주지 않은 에이전트보다 뚜렷하게 낫지 않았다.
집단 수준에서는 그림이 뒤집혔다. 누가 무슨 말을 했는지를 묻지 않고 답 전체가 어떻게 퍼져 있는지만 보면, 인터뷰로 만든 에이전트가 실제 분포에 가장 가까웠다. 낮고 시큰둥한 점수까지 재현해 낸 것은 이 방식뿐이었다. 개인 정보를 하나도 받지 못한 에이전트는 그냥 무난한 기본값 쪽으로 쏠려, 대부분의 답을 각 척도의 꼭대기 근처에 세워 두었다. 그러니까 에이전트 집단은 진짜 집단처럼 보였지만, 그중 어느 하나도 자신이 본뜬 실제 사람처럼 보이지는 않았다.
본인의 답과 그대로 일치한 비율. 사람도 사흘 뒤 자기 답과 절반쯤만 같았다. · 인터뷰로 만든 에이전트 · 사흘 뒤 다시 답했을 때 · 30%쯤 · 45%쯤
열 사람을 떠올려 보자. 어떤 구상을 다섯은 좋아하고 다섯은 싫어한다. 어떤 시뮬레이션이 그 다섯 대 다섯의 갈림을 완벽하게 재현하면서도, 사람 하나하나의 답은 모조리 반대로 내놓을 수도 있다. 분포 그림은 옳은데 개인에 대한 짐작은 죄다 틀린 셈이다. 이것은 에이전트가 실제로 모두를 뒤집었다는 주장이 아니라 하나의 예시일 뿐이지만, 옳은 분포가 개인별 오류 더미를 어떻게 감출 수 있는지를 보여 준다. 평균을 내면 그 실수들이 서로 상쇄되기 때문이다.
무슨 일이 있었는지는 평범한 이유 몇 가지로 설명된다. 인터뷰는 한 사람의 세계 가운데 일부를 담을 뿐, 어떤 반응을 좌우하는 조건을 전부 담지는 못한다. 한 번도 써 본 적 없는 도구에 대한 판단은 이미 정해진 취향에서 읽어 내는 것이 아니라 그 자리에서 즉석으로 지어내는 경우가 많다. 기록이 얇은 곳에서는 모델이 그 빈틈을 그럴듯하고 뻔한 추론으로 메우는데, 그 추론은 이 사람이 아니라 전형적인 노동자처럼 들린다. 집단의 생김새를 안다고 해서 그 안의 특정한 한 사람에 대해 장담할 수 있는 것은 거의 없다.
매끄럽게 다듬은 자국이 드러나는 곳
서술형 답을 보면 그 간극이 손에 잡힌다. 소리로 바꿔 주는 도구를 두고, 사람과 에이전트는 똑같이 큰 걱정거리를 짚었다. 정확성, 사생활, 이미 쓰는 소프트웨어와의 궁합이다. 그런데 실제 사람 가운데 30%쯤은 그 발상을 아예 거부했고, 어떤 조건에서도 쓰지 않겠다는 이까지 있었다. 그만큼 강하게 반대한 에이전트는 딱 하나뿐이었다. 사람들은 구체적인 결격 사유를 댔다. 휴대전화가 아니라 데스크톱에서 일한다거나, 들을 게 아니라 읽어야 하는 문서라거나, 회사의 규정 준수 방침 같은 것이다. 에이전트는 그런 단호한 거절을 무언가 개선하면 풀릴 문제로 바꿔 놓는 경향이 있었다.
이 차이가 중요한 까닭은, '개선되면 받아들이겠다'가 '이건 내 일에 맞지 않는다'와 같은 답이 아니기 때문이다. 에이전트는 목소리와 말투에서도 가장 낮은 점수를 받았다. 사람들은 어수선하고 머뭇거리며 때로 앞뒤가 안 맞게 말하는데, 에이전트는 말끔한 글을 내놓았다. 여기 한 가지 주의가 붙는다. 이 서술형 비교는 서로 어느 정도만 의견이 맞은 AI 심판들이 매긴 것이라, 최종 판정이 아니라 뒷받침하는 증거로 봐야 한다.
어떤 업체나 연구팀이 당신 자신의 인터뷰로 만든 페르소나, 곧 당신을 본뜬 인물 모델을 내놓으며 당신을 대신할 수 있다고 말한다면, 이 연구는 조심할 이유가 된다. 더 안전하게 읽자면, 그것이 새로 내놓는 답은 당신에 대한 예측이지 당신이 한 말이 아니다. 낯익은 어휘와 당신 일에 대한 언급은 그것이 당신의 재료를 썼음을 보여 준다. 그 결론이 당신을 대변한다는 것을 보여 주지는 않는다.
실제로 이 말은, 당신의 말로 만든 페르소나에게 당신의 거부를 그대로 재현하거나, 당신이 왜 망설일지를 설명하거나, 어떤 도구가 당신의 실제 업무 흐름에 얼마나 맞을지를 판단하게 맡겨서는 안 된다는 뜻이다. 그것이 당신을 대신해 동의하거나, 당신을 대신해 결정하거나, 당신의 견해로 인용되어서는 안 된다. 당신이 한 말인 양 쓰일 답이라면 무엇이든 확인을 받으러 당신에게 되돌아와야 한다.
제값을 하는 자리와 그렇지 못한 자리
그래도 좁지만 진짜 쓸모는 있다. 이런 에이전트를 모아 놓으면 실제 집단을 닮으므로, 값싼 1차 거름망이 될 수 있다. 시제품에 돈을 들이기 전에 거친 구상 여럿을 걸러 내거나, 자동화를 더 늘릴지 통제를 더 늘릴지 같은 큰 방향을 견주어 보거나, 실제 조사로 가져갈 만한 반론과 질문 후보를 뽑아내는 데 쓰는 것이다. 연구는 그 운영 비용을 사람을 한 번 참여시키는 것보다 훨씬 낮게 잡는다. 1.27달러쯤 대 12.50달러쯤이다. 다만 이 두 숫자가 같은 일의 단위로 잰 것인지는 온전히 분명하지 않다.
맞지 않는 자리는 특정한 한 사람이 되어야 하는 모든 곳이다. 그것은 이름이 있는 참가자를 대변하거나, 누군가의 신뢰나 도입 장벽을 확정하거나, 업무의 세부가 핵심인 자리에서 인터뷰를 대신하거나, 지어낸 논평을 고객의 증언으로 둔갑시킬 수 없다. 거름망으로 쓸 때조차 경고가 따른다. 오늘 나온 답의 분포를 맞힌다고 해서 그 에이전트가 내일의 구상들을 옳은 순서로 매길 것이라고 증명되지는 않으니, 이는 유망한 발상일 뿐 입증된 것은 아니다.
하나의 연구일 뿐, 판결은 아니다
이것은 특정 분야에 한정된 하나의 연구다. 미국의 지식 노동자 51명, 상상 속 문서 도구 네 가지, 에이전트를 만드는 한 가지 방식이다. 충실한 개인 시뮬레이션이 불가능하다고 증명하는 것은 아니며, 더 나은 방법이 그 간극을 좁힐 수도 있다. 이 연구가 하는 일은 입증의 책임을 제자리로 옮겨 놓는 것이다. 에이전트를 당신의 말에 뿌리내리게 하는 것과 그것을 당신의 대역으로 세우는 것은 같지 않고, 그 두 번째 주장은 이제 당연하게 여길 것이 아니라 보여 주어야 한다.
여기서 나오는 실천 규칙은 단순하다. 집단만 있으면 되는 일, 그러니까 빠르고 대략적인 종합 신호가 필요할 때는 이런 에이전트 집단을 쓰라. 특정한 한 사람이어야 하는 일에는, 당신 자신의 일에 얽힌 도구를 두고 내리는 결정까지 포함해, 진짜 사람을 쓰라.
필요한 것이 집단이냐 특정한 한 사람이냐로 갈린다. · 집단만 있으면 되는 일 · 특정한 한 사람이어야 하는 일 · 빠르고 대략적인 종합 신호가 필요할 때는 이런 에이전트 집단을 쓰라 · 당신 자신의 일에 얽힌 도구를 두고 내리는 결정까지 포함해, 진짜 사람을 쓰라
People are increasingly told that an AI can be built from their own words and stand in for them. A new study put that promise to a direct test. Researchers ran in-depth workflow interviews with knowledge workers, built a personal agent from each interview, and then compared what each agent said about new product concepts against what that same person actually said. The result is precise and uncomfortable : the agents were distribution-calibrated but identity-imprecise. They approximated how a population would answer, yet failed to reproduce the specific individual they were grounded in. Explain what was actually measured and how it was measured, why an agent can match a crowd without matching the person it was built from, and what that gap means for anyone deciding whether to trust a persona made from their own interview. Say plainly where such a simulation still earns its keep and where it does not.
What Was Measured and How
In Wang & Siu (2026), Adobe Research tested the premise of using interview-informed generative agents to simulate individual users in early-stage product discovery.
The experimental design was structured around 51 knowledge workers (spanning legal, finance, management, operations, and research) who frequently handle dense documents. The measurement pipeline proceeded in distinct stages:
1. Grounding Protocol: Each participant completed an in-depth, 90-minute unmoderated audio interview (averaging ~43 minutes of speech, ~106 words per response, totaling ~36 hours across the cohort) exploring their document workflows, friction points, risk tolerance, and AI attitudes.
2. The Ground Truth Concept Tests: Participants evaluated four speculative AI document tools (Multidoc Q&A, Smart Highlights, Audio Assistant, and Workflow Actions). They rated each concept on:
- Quantitative scales: A 6-item Technology Acceptance Model (TAM) measuring Perceived Usefulness, Perceived Ease of Use, and Behavioral Intention (7-point Likert), plus Net Promoter Score (NPS, 0–10).
- Qualitative feedback: Open-ended rationales detailing workflow fit,…
What the study actually tested
This was not a test of whether an AI can summarize an interview or produce plausible feedback. It tested a stronger claim: can an agent built from one person’s interview predict that same person’s answers to new product concepts?
The researchers recruited 51 U.S. knowledge workers with document-heavy jobs, conducted in-depth workflow interviews, then built one agent per participant. Each agent had:
- the participant’s interview transcript, stored for retrieval;
- basic profile information, such as role;
- a prompting workflow that retrieved relevant interview passages, generated a “reflection” about the person’s perspective, then answered concept-test questions.
The people and their agents were then asked the same questions about four proposed AI document-workflow products: multi-document Q&A, smart highlights, an audio document assistant, and an automated workflow-actions assistant.
The test included:
- scalar ratings: six Technology Acceptance Model items on usefulness, ease of use, and intention to use, plus an 0–10 Net Promoter Score;
- open-ended feedback: workflow fit, use cases, concerns, improvements, and comparisons amon…
The short version: this study measured two different things that are easy to conflate — *does the agent reproduce the individual?* and *does the agent reproduce the crowd?* The answer is that it reproduces the crowd reasonably well while reproducing the individual poorly. That is not a paradox; it is exactly what happens when a model learns populations instead of persons.
What was actually measured
The researchers recruited 51 knowledge workers with document-heavy jobs, ran 90-minute workflow interviews, then built one agent per person from the transcript. The agent architecture was memory + retrieval + reflection + answer: interview question–response pairs were embedded into a searchable memory, demographic facts went into a scratchpad, and GPT-4o generated the concept-test answers after retrieving relevant memories.
Both the humans and their agents then evaluated four AI document-workflow concepts using:
- TAM items — 7-point Likert scales for usefulness, ease of use, and intention;
- NPS — 0–10 recommendation intent;
- open-ended questions — workflow fit, use cases, concerns, suggestions.
Humans answered the concept test twice, several days ap…
The Arbiter · gpt-6-astra
Round record: agreement and important qualifications
All three analysts agree on the central distinction: resembling a group’s answers is not the same as predicting which answer belongs to which person. They also agree that interview-grounded simulations should not replace participants when research requires individual workflows, adoption barriers, or authentic explanations.
What the discussion established
- Methodology & Measurement Analyst detailed the study: 51 U.S. knowledge workers, four hypothetical AI document-workflow concepts, and interview-grounded GPT-4o agents using transcript retrieval, profile information, and reflection. Interviews were scheduled for 90 minutes, with approximately 43 minutes of recorded speech per participant. Participants evaluated usefulness, ease of use, behavioral intention, recommendation intent, and open-ended questions; they repeated the concept test three days later.
- Statistical & Behavioral Theorist emphasized the distinction between matching marginal response distributions and preserving person–answer pairings. Interview-informed agents achieved 30.0% exact agreement, compared with 44.6% human test–retest agree…
The Arbiter's Final Verdict · gpt-6-astra
The study supports using an interview-based persona as a source of hypotheses—not as a substitute for the person. Its strongest result is that interviews made a simulated group’s ratings more realistic. They did not make each agent reliably answer like its interviewee.
What was actually tested
Wang and Siu studied 51 U.S. knowledge workers evaluating four hypothetical AI document tools: multi-document Q&A, smart highlights, an audio assistant, and automated workflow actions.
Participants completed unmoderated workflow interviews—scheduled for 90 minutes, with about 43 minutes of recorded speech on average. Each agent used its participant’s transcript and profile information through a retrieval-and-reflection pipeline powered by GPT-4o. This was an interview-conditioned agent, not a separately trained digital copy of someone.
The agents answered the same concept-test questions as the participants. Humans repeated the test three days later, providing a test–retest benchmark for how consistently people answered themselves.
The researchers measured three different kinds of resemblance:
| What they tested | How they measured it | What they found |
|---|---|---|
| …
