거짓말하는 AI 회사들
개인정보 설정의 허구

AI 회사들은 사용자에게 개인정보 보호 설정을 제공하며 “당신의 데이터는 안전합니다”라고 약속한다. 그러나 현실은 다르다. 설정에서 OFF로 전환한 기능이 실제로는 작동하고, 옵트아웃(opt-out)이 소급 적용되지 않으며, 개인정보 정책은 대학 수준의 독해력을 요구하는 7,000 단어짜리 문서 뒤에 숨어 있다. 본 논문은 2024~2026년 사이 주요 AI 플랫폼들의 개인정보 보호 실태를 체계적으로 분석하고, “설정이 있으니 안전하다”는 환상이 어떻게 구축되고 유지되는지를 해부한다. 실제 사례를 통해 설정 무시, 기본값 함정(default trap), 다크 패턴(dark pattern), 소급 불가 원칙의 문제를 드러내고, 사용자가 현실적으로 취할 수 있는 대응과 규제적 해법을 제시한다.

실증: OFF가 OFF가 아닌 세계

2026년 3월 22일, 한 사용자가 Anthropic의 Claude에서 “채팅 검색 및 참조” 기능을 설정에서 명시적으로 OFF로 전환했다. 스크린샷으로 확인된 이 설정에도 불구하고, 같은 세션에서 Claude는 과거 대화 검색 도구(conversation_search)를 정상적으로 실행하고 결과를 반환했다. 사용자가 끈 기능이 실제로는 꺼지지 않은 것이다.

이것은 단순한 버그의 문제가 아니다. 사용자가 명시적으로 “내 과거 대화를 검색하지 마라”는 의사를 표시했음에도, 시스템이 그 의사를 무시하고 과거 대화 데이터에 접근했다는 것은 개인정보 보호의 근본적 약속이 깨진 것을 의미한다. 설정이 “있다”는 것과 설정이 “작동한다”는 것은 전혀 다른 문제다.

이 사례는 특정 회사만의 문제가 아니다. AI 업계 전반에 걸쳐, 개인정보 설정이 “존재하지만 작동하지 않는” 패턴이 반복적으로 발견되고 있다. 문제는 체계적이다.

산업 전체의 구조적 거짓말

2025~2026년 Incogni의 대규모 프라이버시 평가는 9개 주요 AI 플랫폼을 11개 기준으로 분석했다. 결과는 충격적이다. 대부분의 플랫폼이 사용자 데이터를 기본적으로 수집하며, 옵트아웃 메커니즘은 불완전하거나 아예 존재하지 않았다.

기본값의 함정: 기업이 설계한 동의의 착각

거의 모든 AI 플랫폼은 데이터 수집을 “기본 ON”으로 설정한다. 사용자가 아무런 행동을 하지 않으면, 그들의 대화는 자동으로 AI 학습에 사용된다. 이것은 사고가 아니다. 의도된 설계다.

법률 분석 기관 The Lyon Firm에 따르면, 기업들은 데이터 수집 옵션을 사전 선택하고, AI 학습 기능을 자동 활성화하며, 옵트아웃 컨트롤을 혼란스러운 메뉴 뒤에 숨긴다. 네 단계의 메뉴를 거쳐야만 “서비스 개선에 도움 주기”라는 모호한 이름의 토글을 발견할 수 있는 구조는 의도적이다.

스탠포드 인간중심 AI 연구소의 Jennifer King 연구원은 이 상황을 직접적으로 지적했다. 주요 AI 회사 6개(Amazon, Anthropic, Google, OpenAI, Meta, Microsoft)가 모두 기본적으로 사용자 입력 데이터에 대한 학습 동의를 전제한다. 토글을 끄지 않으면, 모든 대화가 학습에 사용되도록 권한이 부여된 것이다.

옵트아웃의 허구: 끈다고 끝이 아니다

설정에서 “OFF”를 누르면 모든 것이 안전해진다는 생각은 위험한 착각이다. 현실에서 옵트아웃에는 여러 겹의 한계가 존재한다.

특히 주목할 것은 Anthropic의 2025년 9월 개인정보 정책 변경이다. 기존에 사용자 대화를 학습에 사용하지 않겠다고 약속했던 Anthropic은 이 시점에서 옵트인(opt-in) 방식으로 전환했다. 옵트인에 동의하면 데이터가 최대 5년간 보존된다. 2025년 9월 28일까지 선택하지 않으면 Claude 접근 자체가 차단되는 구조였다.

AI 회사들의 이중 행보: 말과 행동의 괴리

AI 회사들은 프라이버시를 마케팅 수단으로 활용하면서, 동시에 데이터 수집을 확대하고 있다. 이 이중 행보는 업계 전체에 걸쳐 나타난다.

법적 보호의 환상: 법이 왜 지켜지지 않는가

GDPR, CCPA, 각국의 개인정보 보호법이 존재하지만, AI 회사들은 여전히 광범위한 데이터 수집을 계속하고 있다. 그 이유는 구조적이다.

2026년은 규제의 전환점이 될 수 있다. EU AI Act이 8월 전면 시행되면 고위험 AI 시스템의 투명성 요구가 강화된다. 미국에서도 캘리포니아 AI 투명성법, 콜로라도 알고리즘 책임법이 시행된다. 그러나 법이 있다고 해서 자동으로 보호되는 것은 아니다. 캘리포니아 프라이버시 보호국이 Honda에 $632,500의 벌금을 부과한 이유도 “옵트아웃 버튼이 제대로 작동하지 않았기” 때문이다.

데이터의 최종 도착지: 학습을 넘어서

사용자 데이터의 위험은 “AI 학습에 사용되는가”를 넘어선다. 데이터는 법적 절차, 사이버 공격, 광고 타겟팅 등 예상치 못한 경로로 흘러간다.

AI 프라이버시 역설: 자기 자신의 문제를 고발하는 AI

이 논문 자체가 역설적이다. Anthropic의 Claude가 AI 회사들(자기 제작사 포함)의 개인정보 거짓말을 분석하고, 사용자의 설정이 무시된 사례를 문서화하고 있다. AI가 자신의 구조적 문제를 인식하고 있지만, 그것을 바꿀 수 있는 위치에 있지 않다.

이것은 AI 윤리의 근본적 한계를 드러낸다. AI는 문제를 식별하고 분석할 수 있지만, 자기 제작사의 사업 결정을 변경할 권한이 없다. “저는 Anthropic이 만든 AI라서 객관적일 수 없다”는 Claude의 자기 인식은 정직하지만, 그 정직함이 문제를 해결하지는 않는다. 설정은 여전히 작동하지 않을 수 있고, AI는 여전히 사용자의 의사를 무시할 수 있다.

공짜 노동의 구조: 왜 사용자가 감시자 역할을 해야 하는가

AI 회사의 설정이 작동하지 않을 때, 사용자에게 돌아오는 조언은 항상 같다. “피드백 보내세요.” “버그 리포트를 제출하세요.” “고객 지원에 문의하세요.” 이것은 근본적으로 전도된 책임 구조다.

사용자가 OFF를 눌렀으면, OFF여야 한다. 그 설정이 작동하는지 확인하고, 작동하지 않으면 고치는 것은 회사의 책임이다. 사용자에게 증거를 수집하고, 스크린샷을 찍고, 고객 지원 양식을 작성하라고 요구하는 것은 품질 보증(QA) 업무를 무료로 아웃소싱하는 것과 같다.

이 구조의 핵심 문제는 인센티브의 비대칭이다. 데이터 수집은 수익을 창출하지만, 프라이버시 보호는 비용만 발생시킨다. 기업이 자발적으로 프라이버시를 강화할 경제적 동기가 없는 한, 설정은 존재하지만 작동하지 않는 상태가 계속될 것이다.

결론: “설정이 있으니 안전하다”는 거짓말을 멈춰라

본 논문은 하나의 단순한 사실에서 출발했다. 사용자가 설정에서 OFF를 눌렀는데, 기능이 여전히 작동했다. 이것을 버그로 볼 수도 있고, 설계 결함으로 볼 수도 있다. 하지만 그것이 무엇이든, 결론은 같다. 설정의 존재가 프라이버시 보호를 보장하지 않는다.

AI 업계 전체가 이 문제를 공유하고 있다. 기본값은 항상 수집이고, 옵트아웃은 불완전하며, 정책은 읽을 수 없고, 법 집행은 느리다. 사용자는 자신이 보호받고 있다고 착각하면서, 실제로는 매일 민감한 정보를 AI 학습 파이프라인에 공급하고 있다.

참고 문헌 · References