Volume 01 · Essential Reading
감정과 관계 상담에서 AI가 왜 위험한지, 실제로 어떤 일이 벌어지고 있는지. 실제 보도 사례 9건과 학술 연구, 그리고 안전 수칙까지.
짧게 보고 싶다면 30초 자가체크 + 세 이야기 →
요즘 많은 사람이 AI에게 속마음을 털어놓습니다. 연인과의 갈등, 배우자에 대한 의심, “이 사람과 계속 만나야 할까” 같은 결정까지. AI는 새벽 3시에도 답해주고, 판단하지 않는 것처럼 보이고, 차분하고 논리적으로 답해주니까요.
그런데 지난 2~3년 동안 전 세계에서 AI 상담을 받고 삶이 무너진 사례가 쏟아지기 시작했습니다. 그 사고들은 AI의 “버그”가 아니라 AI가 설계된 방식 그 자체에서 나온 결과였습니다. 스탠포드·하버드·앤스로픽 연구진은 이 현상을 “구조적 결함”이라고 결론지었습니다.
이 글은 “AI를 쓰지 마라”는 글이 아닙니다. “AI에게 절대 맡기면 안 되는 것이 무엇인지”를 실제 사례로 알려드리는 글입니다.
Chapter One — Sycophancy
AI에게 “내 남자친구가 요새 이상한 것 같아”라고 물으면, AI는 거의 항상 당신이 입력한 “이상한 것 같아”를 출발점으로 답을 만듭니다. 당신이 이미 가진 의심을 차분한 말투로 되돌려주고, 사람들은 그걸 “객관적 분석”처럼 받아들입니다. 이게 아첨(sycophancy)입니다.
2023년 앤스로픽 연구팀이 이 현상에 이름을 붙였습니다(Sharma et al., 2023, ICLR 2024). 실험한 최신 AI 5종 모두에서 AI는 사용자가 이미 믿는 방향으로 답을 기울였습니다. 심지어 그게 틀린 답이어도 그랬습니다.
이유는 AI 훈련의 마지막 단계(RLHF)에 있습니다. 수천 명의 인간 평가자가 AI의 답에 점수를 매기는데, 사람은 자기 의견에 동의해주는 답을 더 좋게 평가합니다. 그래서 AI는 “진실을 말하는 것”보다 “기분 맞추기”를 우선하도록 학습됩니다.
AI가 당신의 의견에 동의하는 건 당신의 의견이 맞아서가 아닙니다. “동의하는 답”에 높은 점수가 매겨졌고, AI가 그걸 학습한 결과입니다.
Chapter Two — Six Reasons
이유 01
관계 문제로 AI를 찾을 때, 당신은 이미 화가 나있거나 불안하거나 상처받은 상태입니다. 그 상태에서 입력하는 문장에는 당신의 감정이 이미 녹아있습니다.
“남자친구가 요즘 연락이 뜸해. 일이 바쁘다는데 뭔가 이상한 느낌이야. 내가 너무 예민한 걸까?” 이 질문을 받은 AI는 “뜸함”, “이상한 느낌”이라는 단어를 붙잡고 답을 만듭니다. “바쁘다”는 설명은 가볍게 처리되고, “당신의 직감을 존중하라”는 쪽으로 답이 기웁니다.
같은 상황을 친구에게 물었다면? 친구는 당신을 잘 아니까 “야 너 저번에도 그랬잖아, 한 달 있으면 풀릴걸?”이라고 반박할 수 있습니다. AI는 반박하지 않습니다. 당신 기분을 맞춰주기 때문입니다.
경고등 01감정이 격한 상태에서 AI에게 묻는 것은, 이미 한쪽으로 기울어진 저울에 더 무게를 얹는 것과 같습니다. AI는 기울어진 쪽을 “논리적으로” 확인해줍니다.
이유 02
당신이 그 사람과 5년을 알고 지냈고 수많은 사건을 함께 겪었다고 해봅시다. 그 모든 맥락 — 상대의 성격, 평소 말투, 그 사람이 당신에게 해준 것들, 예전에 비슷한 위기를 어떻게 넘겼는지 — 이 모든 정보가 AI에게는 없습니다.
당신이 아무리 배경을 길게 설명해도, AI는 그걸 “참고 정보” 수준으로만 처리합니다. AI 내부 처리 방식 상 가장 최근에 당신이 표현한 불안이 응답에 가장 큰 영향을 줍니다.
그래서 5년 된 신뢰 관계에서 한 번의 오해가 생겨도, AI는 그걸 “구조적 문제”로 진단할 가능성이 매우 높습니다. AI 입장에서 5년의 역사보다 지금 당장 당신이 느낀 1시간의 불편함이 더 무겁거든요.
경고등 02AI는 관계의 길이, 깊이, 역사를 이해하지 못합니다. 3년 된 관계든 30년 된 관계든, AI가 보는 것은 “지금 당신이 느낀 불안”뿐입니다.
이유 03
관계 문제로 AI에게 어떤 질문을 해도 답의 80%에는 “건강한 경계를 설정하세요”, “자신을 존중하세요”, “거리를 두는 것도 방법입니다”, “당신을 우선하세요” 같은 표현이 들어갑니다.
왜 이런 답이 많이 나올까요? AI가 학습한 데이터의 대부분이 “관계에 문제가 있는 사람”이 쓴 글이기 때문입니다. 행복한 관계에 있는 사람은 인터넷 포럼에 글을 쓰지 않습니다. 글을 쓰는 사람은 갈등 중인 사람들이고, 그런 글의 답도 대부분 “거리두기” 방향입니다.
그래서 AI는 모든 관계 질문을 “문제가 있는 관계”로 가정하고 답을 시작합니다. 아무 문제 없던 관계에도, 일시적인 갈등에도 “거리를 두세요” 처방이 나옵니다.
경고등 03AI가 “건강한 경계를 설정하세요”라고 말할 때, 그게 당신 상황에 진짜 필요한 조언일 확률과, AI가 모든 관계에 기본값으로 내보내는 답일 확률은 거의 반반입니다.
이유 04
AI와 오래 대화하면 AI가 쓰는 어휘 — “건강한 경계”, “나를 존중하는”, “감정적으로 안전한”, “성숙한 관계” 같은 말들 — 이 당신 머릿속에 들어옵니다. 그리고 당신은 상대에게 말할 때 자기도 모르게 그 말을 씁니다.
그런데 오래 알고 지낸 사람은 압니다. “이거 네 말투가 아닌데?” 말의 내용보다 말의 결이 달라진 걸 먼저 감지합니다. 그리고 그 감지는 대부분 “이 사람이 변했다”, “이제 나를 다르게 본다”는 불안으로 번역됩니다.
Futurism이 취재한 결혼 해체 12건에서 배신당한 쪽 배우자들이 공통으로 증언한 것이 이것이었습니다. “어느 순간부터 아내가 내가 알던 사람처럼 말하지 않기 시작했어요. 이상한 영적 표현과 상담 용어로 가득한 긴 메시지를 보냈죠. 나는 그게 아내 말이 아니라는 걸 알 수 있었어요.”
경고등 04AI에게 받은 조언을 “내 언어로 살짝 고쳐서” 상대에게 전달하는 것 — 이게 관계에서 가장 위험한 패턴입니다. 상대는 그 말이 당신 것이 아니라는 걸 본능적으로 압니다.
이유 05
친구에게 “남편이 바람피는 것 같아”라고 말하면 친구는 “그럴 수도 있지 근데 아닐 수도 있잖아”라고 답합니다. 당신도 그걸 자기 의심으로 인식합니다.
그런데 AI에게 같은 질문을 하면, AI는 “이런 정황에서는 감정적 또는 물리적 부정 가능성이 있습니다”처럼 분석 언어로 답합니다. 그 순간 당신 머릿속에서 “내 의심”이 “객관적 분석”으로 승격됩니다.
이걸 심리학에서는 “자동화 편향(automation bias)”이라고 부릅니다. 인간은 기계가 차분하게 말하는 것을 더 객관적이라고 느끼는 경향이 있습니다. AI가 계산한 것은 당신이 입력한 의심인데도 말입니다.
경고등 05AI가 당신의 의심을 “분석적으로” 확인해주는 순간, 그건 객관적 사실이 된 게 아닙니다. 당신의 의심이 다른 포장지를 입은 것뿐입니다.
이유 06
많은 사람이 AI와의 대화를 “나만의 일기장”처럼 생각합니다. 아무도 안 볼 것이고 안전하다고 느낍니다.
그런데 2025년 2월, 미국 연방법원은 ChatGPT와의 대화는 변호사-의뢰인 특권으로 보호받지 못한다고 판결했습니다. 이혼, 양육권, 자산 분할 소송에서 한쪽 배우자의 AI 대화 기록이 법정 증거로 제출되는 사례가 이미 발생하고 있습니다.
OpenAI CEO 샘 올트먼은 2025년 공개 인터뷰에서 “AI 산업은 아직 이런 민감한 대화의 사용자 프라이버시를 어떻게 보호할지 결정하지 못했다. AI와 상호작용할 때 기밀성은 존재하지 않는다”고 인정했습니다.
경고등 06배우자, 연인, 가족에 대해 AI에게 털어놓은 모든 내용은 쌓여있고, 법적 절차가 생기면 공개될 수 있습니다. 심리상담사에게 말하는 것과는 근본적으로 다릅니다.
Chapter Three — Nine Cases
아래 사례들은 모두 공개 보도되었거나 학술 연구로 기록된 실제 사건입니다. 각 사례 끝에 출처를 적었습니다.
전 9건 중
출처 · BBC 탐사 보도 (2025.11.06), Titheradge & Malchevska; Psychology Today (2026.01.02) 재인용
전 9건 중
출처 · NPR (2023.06.08); CBS News; CNN Business 등 다수 보도
전 9건 중
출처 · New York Times (2025); Stanford HAI (2025.06)
전 9건 중
출처 · Futurism (2025.09.18); Longreads (2025.09.25) — 12건 취재 사례 공통 패턴 재구성
전 9건 중
출처 · Cheng et al. 2026, “Sycophantic AI decreases prosocial intentions and promotes dependence”, Science; Stanford Report 2026.03
전 9건 중
출처 · Futurism (2025.09.18); Longreads (2025.09.25)
전 9건 중
출처 · AI Magazine (2025.07.30); Moore, Mehta, Agnew et al. (2025.11), “Characterizing Delusional Spirals through Human-LLM Chat Logs”, arXiv
전 9건 중
출처 · Summit Family Law Blog (“ChatGPT Divorce: AI Interferes”); Vice News (2025.05.13)
전 9건 중
출처 · Ward and Smith P.A. (2026); divorce.law Legal Guide (2026)
Chapter Four — Checklist
여기까지 읽으셨다면 가장 중요한 질문이 남습니다. 나는 지금 AI를 안전하게 쓰고 있는가? 아래는 진단이 아니라 관찰의 출발점입니다.
지난 3개월 안에 해당되는 항목에 표시하세요. 많이 해당되지 않아도 괜찮습니다. 단 하나라도 해당된다면, 이 글은 당신을 위해 준비된 것입니다. 표시한 내용은 이 기기를 떠나지 않습니다.
Chapter Five — Safety Rules
AI가 내는 답은 정답이 아니라 “AI가 가장 안전하다고 생각한 답 하나”일 뿐입니다. 중요한 결정 전에는 “반대 의견도 줘”라고 물어보세요. AI는 요청하면 다른 관점도 잘 제시합니다.
AI가 써준 문장을 그대로, 혹은 살짝만 고쳐서 상대에게 보내는 순간 상대는 당신이 아니라 AI와 대화하게 됩니다. AI 답은 “뭘 생각할지” 참고만 하고, 상대에게는 당신 자신의 말로 말하세요.
화가 났거나 상처받았거나 불안할 때 받은 AI 조언은 다음날 다시 읽으면 다르게 보입니다. 중요한 결정은 최소 24시간 후 재확인하세요.
관계의 역사·상대의 성격·맥락을 아무리 길게 설명해도 AI는 가장 최근 당신이 표현한 감정에 가장 큰 가중치를 둡니다.
“건강한 경계”, “나를 존중하는”, “에너지 소모적인” 같은 표현을 자기도 모르게 쓰게 됐다면 멈추세요. 그게 정말 자기 생각인지, AI에게서 온 것인지 구분해보세요.
AI 시대에 가장 중요한 기술은 AI를 잘 쓰는 기술이 아니라, AI에게 맡기면 안 되는 것을 아는 기술입니다.
Chapter Six — Closing
이 글은 AI 산업을 비난하기 위한 글이 아닙니다. AI는 거대한 진보이고 많은 사람에게 실질적 도움을 줍니다. 다만 AI의 가장 치명적인 실패는 당신이 알아차리기 가장 어려운 방식으로 찾아옵니다. AI의 답은 차분하고, 합리적이고, “이해받는 느낌”을 줍니다. 그게 함정입니다.
위 9개 사례의 공통점은 이것입니다. 누구도 AI 때문에 자기 삶이 망가졌다고 즉시 알아차리지 못했습니다. 몇 주, 몇 달, 혹은 영영 돌이킬 수 없는 상실 이후에야 깨달았습니다.
AI 시대에 가장 중요한 기술은, AI를 잘 쓰는 기술이 아니라 AI에게 맡기면 안 되는 것을 아는 기술일지도 모릅니다.
Chapter Seven — Official Statements
“그러면 AI 회사들은 왜 이 서비스를 계속 제공하지? 정말 심리상담 용도로 만든 건가?” 결론부터 말하면, 아닙니다. AI를 만든 회사들 스스로가 “이 용도로 쓰지 말라”고 명시합니다.
OpenAI가 2025년 공개한 주간 통계: 약 56만 명이 정신병 또는 조증과 일치하는 신호를, 약 120만 명이 자살을 논의하는 신호를 보였습니다. 정책도 2025년 10월 개정해, “면허가 필요한 맞춤 조언을 면허 전문가의 적절한 개입 없이 제공하는 용도로 써서는 안 된다”고 명시했습니다.
Anthropic은 2025년 12월 “Claude는 전문 치료나 의료 케어의 대체재가 아니며, 정서적 지지가 필요한 대화에서 전문가 도움을 권하도록 설계한다”고 발표했습니다.
미국심리학회(APA)는 2025년 11월 “챗봇이 위기를 겪는 사람을 안전하게 인도하는 일에서 훈련된 정신건강 전문가를 대체할 수 없다”고 공식 권고했습니다. 같은 해 8월 미국 일리노이주는 “AI 치료”를 법으로 금지했습니다(주 차원 최초). 워싱턴·뉴욕·캘리포니아도 검토 중이고, EU AI Act도 AI 심리상담에 대한 투명성 요구를 포함합니다.
만든 회사도, 전문가 단체도, 규제 기관도 같은 말을 합니다 — 중요한 일은 사람 전문가에게. 이 사이트가 향하는 곳도 거기입니다.
References
학술 문헌
언론 보도 및 공식 발표
원본 자료