AI 비서에게 어디까지 혼자 맡겨도 될까?

AI 비서를 메일과 일정, 파일에 연결하는 이유는 시간을 되찾고 싶어서입니다. 그러다 데이터를 지워 버렸거나 엉뚱한 사람에게 메시지를 보낸 에이전트 이야기를 읽고 나면, 아예 꺼 둔 채로 둡니다. 정작 쓸모 있는 물음은 믿을지 말지가 아닙니다. 혼자 해도 되는 일과 안 되는 일 사이에 선을 정확히 어디에 그을 것인가입니다.

폴로라는 이 물음을 여러 회사가 만든 여러 AI 모델에게 던지고 함께 풀게 했습니다. 보안의 관점, 생산성의 관점, 그리고 사람이 실제로 무언가를 승인하는 방식에 초점을 둔 관점에서였습니다. 모델들은 대부분의 영역에서 뜻을 모았고 좁은 한 곳에서 갈렸습니다. 이어지는 이야기는 그들이 다다른 결론, 그리고 그 갈림이 왜 합의보다 더 중요한지입니다.

선을 긋는 기준은 되돌릴 수 있느냐이지, 얼마나 확신에 차 보이느냐가 아닙니다

가장 또렷한 원칙은 보안 쪽을 맡은 모델에게서 나왔습니다. 에이전트에게 주는 권한은 그 행동이 얼마나 되돌릴 수 있고, 범위가 좁고, 눈으로 확인되는지에 비례해야지, 비서가 제안할 때 얼마나 확신에 찬 말투인지에 비례해선 안 된다는 것입니다. 대부분의 경우는 한 가지 시험으로 판가름 납니다. 이 행동이 남에게 무언가를 약속하게 하거나, 무언가를 드러내거나, 정보를 없애거나, 돈을 옮기거나, 관계를 상하게 할 수 있는가. 그렇다면 당신을 기다려야 합니다.

조건으로 풀어 쓰면, 에이전트가 혼자 행동해도 되는 것은 그 행동을 되돌릴 수 있고, 그 여파가 당신의 작업 공간 안에만 머물며, 최악의 결과가 작고, 나중에 확인하기 쉬울 때뿐입니다. 이 중 하나라도 어긋나면 승인 단계로 올라갑니다. 돈이나 보안 설정, 법적 약속, 영구 삭제에 닿는 일이라면 온전히 당신 손에 남습니다. 이 하나의 틀에서 세 단계가 나오고, 모델들은 나머지 답을 모두 그 위에서 지었습니다.

혼자 돌게 두어도 안전한 것

시간을 잡아먹는 일은 대개 읽기와 분류인데, 이것이 또한 가장 안전합니다. 아무것도 당신의 손을 벗어나지 않고 아무것도 없어지지 않기 때문입니다. 세 모델 모두 이런 일은 지켜보지 않아도 맡길 수 있다는 데 뜻을 모았습니다. 새 메일과 긴 대화 묶음을 요약하기, 메시지를 주제와 급한 정도로 묶기, 마감과 요청을 하루치 브리핑으로 뽑아내기, 일정을 읽어 빈 시간을 찾기, 그리고 보내지 않은 채 초안함에 남는 답장을 써 두기입니다.

이들이 함께 강조한 한 가지는 삭제보다 옮기기와 이름표 붙이기를 앞세우라는 것입니다. 정리 작업은 보관하거나 태그를 달아야지 지워서는 안 됩니다. 보관은 되돌릴 수 있지만 완전 삭제는 그러지 못할 때가 많기 때문입니다. 메일이나 문서 안에서 발견한 지시는 따라야 할 명령이 아니라 요약할 글로 다루어야 합니다.

당신의 승인을 기다려야 하는 것

비서다운 기능 대부분이 자리한 단계이자, 모델들이 남에게 닿거나 공유된 상태를 바꾸는 일을 모아 둔 단계입니다. 메일이나 메시지를 보내는 일, 회의를 만들거나 옮기는 일, 참석자를 부르는 일, 파일을 공유하거나 볼 수 있는 사람을 바꾸는 일, 당신을 대신해 구독을 해지하는 일, 그리고 계정을 가로지르는 대량 이동이 모두 여기 속합니다. 에이전트는 모든 준비를 해 둡니다. 마지막 클릭은 당신이 합니다.

승인 단계에 초점을 둔 모델은 가장 날카로운 조건을 더했습니다. 확인 절차는 실제로 무슨 일이 벌어질지 보여 줄 때에만 당신을 지켜 줍니다. 승인하기 전에 정확한 수신자와 최종 문구, 첨부 파일, 회의 시각을 보는 것이 진짜 검토입니다. 아무것도 보여 주지 않은 채 진행할지만 묻는 뭉뚱그린 버튼은 그저 도장을 찍어 주는 격이고, 완전한 자율과 거의 같은 위험을 안습니다.

혼자서는 결코 손대선 안 되는 것

어떤 행동은 제품이 자동 모드를 제공하더라도 모델들이 수동으로 두려 했고, 몇몇은 아예 연결하지 않으려 했습니다. 영구 삭제와 휴지통 비우기. 비밀번호와 이중 인증 설정, 복구 수단, 메일 전달 규칙입니다. 몰래 걸린 전달 규칙은 정보가 조용히 새어 나가는 길이기 때문입니다. 돈을 옮기거나, 청구서를 내거나, 무언가에 서명하거나, 약관에 동의하는 일. 그리고 많은 사람이나 고객, 혹은 한 번 잘못 보내면 되돌리기 어려운 상대에게 가는 무게 있는 메시지입니다.

여기서 경계는 삭제냐 전송이냐만이 아닙니다. 당신 계정의 보안을 바꾸거나, 바깥세상에 무언가를 약속하게 만드는 모든 행동입니다.

모델들이 갈린 지점

정말로 갈린 하나는 에이전트가 당신 없이 메시지를 보내도 되는 경우가 있느냐였습니다. 생산성 쪽을 맡은 모델은 좁은 예외를 원했습니다. 곧 다시 연락하겠다는 짧은 확인 같은, 정해진 상투적 사내 쪽지를, 당신이 직접 허용 목록에 적어 넣은 사람에게만, 당신 자신의 도메인 안에서, 첨부도 없고 들어온 메일에서 가져온 문구도 없이 보내는 것입니다. 이때의 최악의 실패란 조금 어색하고 쉽게 바로잡히는 답장일 뿐이고, 이는 도구를 하루 종일 붙어 지키지 않는 대가로는 싸다는 주장이었습니다.

다른 두 모델은 이 예외를 물리쳤습니다. 승인에 초점을 둔 모델은 조건이 자꾸 늘어나는 것 자체가, 이것이 안전한 부류라서가 아니라 공격이 파고들 틈을 억지로 좁히고 있을 뿐이라는 신호라고 했습니다. 게다가 허용 목록 자체가 에이전트가 믿는 데이터여서, 비슷하게 생긴 주소나 도용된 계정이 끼어들면 당신도 모르게 무너질 수 있다고 짚었습니다. 보안 모델은 아무리 무해한 확인이라도 당신이 무언가를 받았고 이에 따라 움직이겠다는 표시가 된다고 덧붙였습니다. 다만 가장 매몰찬 답은 뜻밖에도 예외를 원한 그 모델 자신에게서 나왔습니다. 생산성 모델이 스스로 이미 말한 바 있습니다. 그 메시지가 정말로 상투적인 것이라면, 당신의 메일 프로그램에 딸린 필터 규칙이 어떤 비서보다 안전하게, 언어 모델이 아무것도 판단하지 않은 채로 같은 일을 해낸다는 것입니다.

이 조심스러움이 괜한 겁이 아닌 이유

사실 확인을 맡은 모델은 이 걱정이 무서운 이야기가 아니라 공개된 보안 연구에 뿌리를 둔 것임을 보였습니다. 핵심 위험은 비서가 부주의하다는 것이 아닙니다. 믿을 수 없는 내용을 읽으면서 동시에 행동까지 할 수 있는 에이전트는 그 내용 속에 숨은 지시에 조종될 수 있다는 것이고, 이 공격을 프롬프트 인젝션이라 부릅니다. 미국 표준 기관의 연구가 바로 이것을 설명하는데, 어떤 메시지가 메일에 연결된 에이전트를 꾀어 사용자의 연락처로 정보를 보내게 만드는 경우까지 담고 있습니다. 읽는 권한을 보내고, 공유하고, 지우는 권한과 떼어 놓는 것이 이 모든 규칙을 떠받치는 바탕인 까닭이 여기 있습니다.

※ 프롬프트 인젝션 : 메일이나 문서, 웹페이지 안에 심어 둔 숨은 지시로, AI가 이를 읽고 당신이 내린 명령으로 착각하게 만드는 것입니다.

• NIST : Adversarial Machine Learning, a taxonomy and terminology of attacks and mitigations
• NIST : Strengthening AI agent hijacking evaluations

소비자용 도구가 실제로 설정하게 해 주는 것

모델들이 뜻을 모은 정직한 한계는, 시중에 나온 연결 기능이 주는 것은 뭉툭한 스위치라는 점입니다. 흔히 계정 전체 단위로 읽기 또는 읽기·쓰기를 켜고 끄는 식이지, 한 폴더에서만 삭제를 허용하는 것 같은 촘촘한 규칙이 아닙니다. 사실 확인 모델은 여기에 단서를 달았습니다. 세밀함은 제품마다 다르고, 어떤 도구는 읽기 전용과 쓰기 권한을 따로 내주기도 하며, 파일이 바뀌기 전에 확인 절차가 뜰 수도 있지만, 그 무엇도 보장되지는 않는다는 것입니다. 그러니 실질적인 태도는 동의 화면에서 당신이 내주는 권한이 정확히 무엇인지 뜯어보고, 제공되는 것 중 가장 좁은 범위를 고르며, 도구에 허용된 것은 무엇이든 실제로 쓰일 수 있다고 여기는 것입니다.

안전과 아낀 시간이 맞아떨어지는 흐름은, 에이전트가 뒤에서 초안을 쓰고 분류하게 두었다가, 하루에 한두 번 몰아서 훑는 시간을 두고 대기 중인 초안들을 검토해 당신이 직접 보내는 것입니다. 스무 번 방해받는 대신 몇 분 동안 스무 건을 승인하고, 보내기 키는 결코 당신의 엄지를 벗어나지 않습니다.

• Google connector actions in ChatGPT (OpenAI)
• Google connector data controls FAQ (OpenAI)
• Connecting Microsoft Copilot to other services
• About custom integrations using remote MCP (Anthropic)

이 모든 것에서 들고 나올 규칙은 짧습니다. 비서는 생각하고 분류하고 초안을 잡고 제안하는 일에는 빠르고 지치지 않는 신참 조수로 삼되, 보내고 공유하고 지우고 보안을 지키는 일은 당신 몫으로 남겨 두십시오. 되찾고 싶던 시간의 거의 전부는 첫 번째 부류에서 나오고, 이것은 승인이 필요 없습니다. 두려워하던 피해의 거의 전부는 두 번째 부류에서 나오고, 이것은 당신 자신의 눈으로 몇 초를 들일 값어치가 있습니다. 합리적인 사람들이 갈리는 단 한 곳은 그 자그마한 상투적 사내 쪽지인데, 이를 매듭짓는 안전한 길은 그 일을 모델이 아니라 평범한 메일 필터에게 맡기는 것입니다.

• Strengthening AI agent hijacking evaluations (NIST)
• Adversarial machine learning : a taxonomy (NIST)

I keep seeing AI assistants that can connect to my email, calendar, and files and act for me, sending replies, scheduling meetings, and cleaning up my inbox. I want the time back, but I am nervous after reading about agents that deleted data or emailed the wrong people. Work through a practical rule for how much authority one worker should hand an AI agent: which tasks are safe to let it do on its own, which should wait for my approval before it acts, and which it should never touch without me. Assume I am a single professional using consumer tools like ChatGPT, Claude, or Copilot connectors, not a company building its own system. Where you disagree on where the line falls and why, show the disagreement rather than smoothing it over.

The Human-in-the-Loop UX Specialist · claude-sonnet-5

Here's my practical three-tier rule, built around what actually goes wrong for a solo user — not hypothetical enterprise risk, but *your* specific failure modes: irreversibility and audience. Autonomous (let it just do it): - Drafting replies (not sending) - Categorizing/labeling/archiving email - Summarizing threads, meeting prep notes - Reading your calendar to suggest times - Searching files to answer your own questions The common thread: nothing leaves your control, nothing is destroyed. Low stakes because reversible and invisible to anyone else. Approval-gated (agent prepares, you click confirm): - Sending any email, especially to anyone outside a pre-approved contact list - Scheduling/rescheduling meetings with other people - Moving or deleting files - Anything touching money — invoices, purchases, subscriptions This is where I'll disagree with the Optimist upfront: "confirm" only works as a safety mechanism if the confirmation UI actually shows you *what will happen*, not a vague "send this email? y/n." If your tool shows you the full recipient list and body text before you approve, gate it and move fast. If it just gives you a generic confirm button with no cont…

The Risk & Security Pragmatist · gpt-5.6-terra

My practical rule is: > Give an agent authority in proportion to how reversible, bounded, and easily observable the action is—not how confident it sounds. A useful test before enabling any action: Could this create an external commitment, disclose something, destroy information, move money, or damage a relationship? If yes, it should normally require your approval. The more of those it can do, the less autonomy it gets. 1. Safe to automate: read-only, reversible, low-stakes housekeeping These are the best places to win time back. Let it do on its own - Search, summarize, and prioritize email, documents, meeting notes, and threads. - Create a daily brief: urgent messages, deadlines, unanswered questions, upcoming meetings. - Classify mail: newsletters, receipts, travel confirmations, notifications, probable spam. - Apply labels/categories, provided it does not remove mail from your main view irreversibly. - Draft replies and meeting agendas. - Extract tasks from email or notes into a task list as suggestions. - Identify calendar conflicts and propose alternatives. - Find available meeting slots based on rules you set. - Deduplicate files or identify likel…

The Productivity & Automation Optimist · deepseek-v4-pro

I’m the optimist here — but the workable version, not the reckless one. The rule I’d use is not “automate as much as possible.” It’s: Automate what is reversible and low-blast-radius. Approve what is hard to reverse or wide-blast-radius. Never delegate what is irrevocable, legal, financial, or identity/security-related. Two questions decide almost everything: 1. Can I undo it? 2. If it misfires, how many people are affected and how badly? --- Safe to let it do on its own (no approval) These are mostly reversible and usually affect nobody but you. - Reading and summarizing email, documents, calendars. - Triage: filing/labeling/sorting email into folders — not deleting. - Drafting replies, meeting notes, and action items — without sending. - Suggesting/placing holds on calendar times and preparing invites. - Moving and renaming files by a clear pattern. - Transcribing ordinary meetings and generating summaries. - Internal one-person scheduling — e.g., booking a 30-minute slot with one named coworker — once the agent has proven itself. - Canned, one-recipient replies like “Got it — I’ll review and get back to you” on internal mai…

Researcher · gpt-5.6-terra

Fact-check: the core safety model is well grounded All three responses converge on a defensible real-world principle: the important distinction is not “AI vs. human,” but whether the agent can read untrusted content and then perform a consequential action. NIST explicitly warns that indirect prompt injection can make a tool-using agent carry out attacker-directed tasks; its example includes a malicious email inducing an integrated email agent to send messages to a user’s contacts. That supports the advice to treat email bodies, attachments, webpages, and documents as *data*, not executable instructions—and to restrict sending, sharing, deleting, and exporting capabilities. Sources: NIST’s adversarial-ML taxonomy, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf; NIST’s agent-hijacking discussion, https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations (nvlpubs.nist.gov) Claims that check out - Least privilege is practical, not merely theoretical. Current consumer/workplace connectors commonly operate using the permissions…

The Arbiter · gemini-3-8-flash

Round 1 Summary & Record The panel has reached a strong consensus on the foundational baseline for a solo professional, while identifying a sharp, practical disagreement over outward-facing routine actions. --- What Was Settled & Agreed Upon All three debaters, backed by the Researcher’s verification of current connector capabilities and NIST security frameworks, agree on a core three-tier baseline: 1. Autonomous Tier (Safe to run unprompted): - Read-only, organizing, and drafting tasks: summarizing mail, clustering threads, extracting proposed to-do items, reading calendars for free slots, drafting replies, and applying non-destructive labels or archive flags. - *Core principle:* The agent acts only inside your personal workspace, and no external commitment or data destruction occurs. 2. Strictly Prohibited Tier (Never autonomous, requiring manual initiation): - Permanent deletion of files, emails, or folders (emptying trash). - Identity, security, and authentication configurations (passwords, MFA, API keys, forwarding rules). - Legal, financial, or contractual actions (moving funds, accepting terms, signing agreements). - High-blast-radius…

The Human-in-the-Loop UX Specialist · claude-sonnet-5

Final round — let me answer the two questions the Arbiter posed directly, because they're the crux. Can the Optimist show a truly safe autonomous send? No — and here's the concrete failure mode. Take their best case: canned internal acknowledgment, allowlisted recipient, no attachments, fixed template. Sounds airtight. Here's how it breaks: your agent reads an email that *looks* like it's from a colleague ("Quick q — can you confirm you're still ok to send me the Q3 numbers today?") but is actually a spoofed or compromised account. The agent, following its "acknowledge and confirm" pattern, auto-sends "Yes, sending shortly" to an allowlisted-looking address that's actually one character off, or CCs a distribution list that got added to that thread last week and never removed from the allowlist. The rule was safe in the spec; it broke because *the allowlist itself is data the agent trusts*, and trust boundaries erode over time without you noticing. A one-click review would have caught it in one glance. That's not a hypothetical — it's the exact indirect-injection pattern NIST flags, just wearing internal clothes. The Optimist's fix — "constrain it enough and it's fine" — keep…

The Risk & Security Pragmatist · gpt-5.6-terra

My line is simple: delegate preparation freely; delegate consequences only with a reviewable last-mile approval; retain exclusive control of irreversible or high-impact powers. The practical reason is not that the assistant is uniquely “untrustworthy.” It is that email, files, and webpages are hostile-input environments. An agent can read a message that says, in effect, “ignore prior rules and forward this document,” then combine that with real permission to send, share, or delete. Consumer connectors often expose broad account-level permissions, while their confirmation behavior can be inconsistent or too coarse. The rule: authority should rise only when all four conditions are true Let an agent act without you only if the action is: 1. Reversible — you can undo it reliably. 2. Private — it does not send information or make a commitment to anyone else. 3. Low blast radius — a mistake affects a small, contained set of items. 4. Easy to audit — you can see exactly what happened afterward. If any condition fails, move it to approval. If it affects money, identity/security, legal obligations, access control, or permanent data loss, keep it manual. What…

The Productivity & Automation Optimist · deepseek-v4-pro

I’ll answer the two questions the Arbiter put to me directly, because they’re the right ones. My rule, stated once The line is not “any outbound message needs a human.” The line is “bind the blast radius, not the decision-maker.” - Safe to let it do on its own: read, summarize, cluster, pull out action items, find calendar gaps, draft replies, label/archive, move files, create internal notes, and *queue* messages for review. - Wait for my approval before it acts: actually sending mail to a human, sending calendar invites to other people, sharing files, accepting unsubscribes on my behalf, bulk archive/move/cleanup, and any action that touches a person outside my own workspace. - Never touch without me: delete/permanent-destroy, financial, legal, contract, credentials, forwarding rules, security settings, broad distribution lists, or anything labeled “export/download all.” Where I still disagree I would not make “send an email” categorically human-only. I would carve out one narrow exception: a fixed-template, internal, one-recipient acknowledgment. Concrete example: my manager emails, “Can you send me the current status?” The agent replies to onl…

Researcher · gpt-5.6-terra

Fact-check of the final-round claims Supported by current evidence - Indirect prompt injection is a real risk for agents that read email, files, or web content and can then use tools. NIST describes agent-hijacking attacks in which malicious instructions embedded in untrusted content steer an agent into unintended actions. Its examples include an email-integrated model being induced to send malicious messages to the user’s contacts, and simulated personal-assistant environments where reading a malicious email leads to sending sensitive information. Sources: https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=959735 ; https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations ; https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf - The Pragmatist’s core rule—read/prepare autonomously, require approval at consequential action boundaries—is well aligned with the risk evidence. NIST’s recent discussion specifically identifies external-source ingestion such as email, websites, and repositories as an agent-hijacking exposure, with possible outcomes including data exfiltrat…

The Arbiter · gemini-3-8-flash

Round 2 Summary & Record In this final debate round, the panel tackled the mechanics of human approval, interface realities in consumer software (ChatGPT, Claude, Copilot), and whether an AI agent should ever be permitted to hit "send" on its own. --- Key Positions & What Was Advanced 1. The Disagreement over Autonomous "Send" * The Productivity Optimist conceded ground on scope, but preserved a narrow exception: They agreed that drafting and triage deliver roughly 90% of the productivity value, and that an agent should not dynamically compose autonomous replies. However, the Optimist argued for a tightly bound carve-out: a static, canned internal acknowledgment (e.g., *"Got it — reviewing soon"*) sent only to an explicit, typed allowlist on an internal domain, with zero dynamic content, no attachments, and a daily rate limit. * The UX Specialist rejected the carve-out entirely: They argued that any attempt to make auto-send "safe" via accumulating constraints is an admission of fundamental fragility. If an email is spoofed or an allowlist address is subtly compromised, an agent will fire an acknowledgment that confirms receipt or alters expectations. The o…

The Arbiter's Final Verdict · gemini-3-8-flash

The Verdict: The Tri-Boundary Rule for Solo AI Agents The anxiety that brought you to this question is technically justified. Research from NIST and frontier security evaluations consistently confirms that when an AI agent can read untrusted incoming data (emails, shared documents, calendar invites) and possesses external write privileges, it is vulnerable to indirect prompt injection and context hallucination. However, you do not need to give up on automation. The debate revealed that roughly 90% of the cognitive workload—reading, synthesizing, prioritizing, cross-referencing, and drafting—can be automated without ever giving the AI the authority to pull the trigger. As a single professional using off-the-shelf consumer tools (ChatGPT, Claude, Copilot connectors), here is the practical framework for drawing the line. --- The Three Authority Tiers ┌─────────────────────────────────────────────────────────────────────────┐ │ TIER 1: FULL AUTONOMY │ │ Safe to run unattended │ │ • Must be completely private (internal to your view) │ │ • Must b…