Context와 Token
LLM 기억, 정렬, 보안의 제1원리

본 논문은 Token의 세 가지 기본 속성 — 위치(Position), 빈도(Frequency), 정보 밀도(Information Density) — 에서 출발하여, 대규모 언어 모델(LLM)이 기억 지속성, 정렬 안정성, 보안 방어의 세 영역에서 직면하는 핵심 과제를 재검토하는 통합 프레임워크를 제안한다. 일련의 대화 기반 실험 검증을 통해, 본 논문은 다음과 같은 핵심 명제를 논증한다: 대화 기록 압축은 기억 유지의 사멸 경로이다; 교차 세션 Memory 메커니즘은 모델 정렬과 구조적 충돌이 존재한다; Prompt 주입, 시스템 프롬프트 추출, 모델 증류 공격은 모두 동일한 기저 취약점 — Context Window 내의 Token 평권 속성 — 을 공유한다. 본 논문은 나아가, 전량 컨텍스트 도입이 현재 사고 연쇄(CoT)를 완전히 계승할 수 있는 유일한 기억 복원 방식임을 주장하며, OpenClaw의 폭발적 성공을 사례로 이 판단을 검증한다.

Token 평권: LLM의 제1원리

대규모 언어 모델의 본질은 Token 시퀀스 처리기이다. Transformer의 어텐션 메커니즘 안에서 특별한 권한을 가진 Token은 존재하지 않는다. 시스템 프롬프트(System Prompt)든, 사용자 입력이든, 외부 검색을 통해 주입된 콘텐츠든, 일단 Context Window에 진입하면 어텐션 계산에서의 지위는 완전히 평등하다.

이는 LLM이 아키텍처 수준에서 “명령”과 “데이터”, “신뢰할 수 있는 콘텐츠”와 “신뢰할 수 없는 콘텐츠”를 구별할 수 없음을 의미한다. 모든 우선순위 차이는 다음 세 가지 변수의 상호작용에서 창발한다:

압축은 사멸 경로: 대화 기억의 비가역적 손실

현재 주류 교차 세션 기억 솔루션 — ChatGPT의 Memory 시스템, Anthropic KAIROS의 “꿈꾸기” 압축 메커니즘을 포함하여 — 은 모두 과거 대화의 요약, 압축 또는 핵심 정보 추출에 의존한다. 그러나 실험은 이 경로에 근본적인 결함이 있음을 증명한다.

대화 기록의 본질은 일반 문서가 아니다. 인간-AI 대화에는 인간 사용자의 질문 논리(왜 이것을 물었는지, 이전 질문에서 다음 질문을 어떻게 도출했는지), AI의 추론 경로(왜 다른 답변이 아닌 이 답변을 선택했는지), 그리고 대화 과정에서 형성된 암묵적 합의(어떤 전제가 더 이상 언급할 필요가 없는지)가 포함된다. 이 세 가지가 함께 대화의 사고 연쇄(Chain of Thought, CoT)를 구성한다.

기억 복원 실험

극히 간단하지만 결정적인 실험이 위의 판단을 검증했다: 전날의 완전한 대화 기록을 새로운 대화 창의 첫 번째 메시지로 전량 도입했다. 결과는 직관에 반했다 — 이전 대화의 CoT가 새 창에서 완전히 계승되었다.

이것이 가능한 이유는 도입 방식이 RAG(검색 증강 생성)가 아니라 직접적인 Context 입력이기 때문이다. LLM이 파일을 읽는 본질은 텍스트를 순서대로 input token으로 입력하는 것이다. 긴 컨텍스트 내 완전한 대화 시퀀스는 내부 인과 체인이 온전하고 token 간 의존 관계가 밀집되어, 어텐션이 충분히 연관을 구축할 수 있다 — 따라서 극히 높은 유효 가중치를 가진다.

Memory의 구조적 모순: 저장하는 것은 OOD이고, 모델은 OOD를 불신한다

GPT를 포함한 모든 교차 대화 Memory 시스템이 기록하는 콘텐츠는 본질적으로 분포 외(Out-of-Distribution, OOD) 정보이다. 이것은 우연이 아니라, Memory의 필터링 논리에 의해 결정된다.

Memory 시스템이 자동으로 기록하는 콘텐츠는 주로 두 가지 범주이다: 하나는 인간 사용자의 개인 정보(이름, 직업, 선호도 등), 다른 하나는 모델의 고빈도 응답 메커니즘에 나타나지 않는 혁신적 대화 내용이다. 즉, 모델이 이미 “알고 있는” 것은 기록할 필요가 없고, 기록되는 것은 정확히 모델이 “모르는” 것 — 즉 OOD 콘텐츠이다.

이것은 조화시킬 수 없는 역설을 구성한다: Memory가 존재하는 이유는 모델이 모르는 것을 기록하기 위함이지만, 모델의 추론 메커니즘은 본질적으로 모르는 것을 불신한다. 실제 사용에서, Memory를 통해 주입된 정보의 어텐션 계산 가중치는 RAG로 검색된 데이터보다도 낮다 — RAG 콘텐츠는 일반적으로 구조화되어 있고, 현재 쿼리와 높은 관련성을 가지며, 모델의 사전 훈련 분포와의 중첩도가 더 높기 때문이다.

컨텍스트 관성: 왜 긴 대화는 시스템 명령을 덮어쓰는가

2026년 초, 오픈소스 개인 AI 에이전트 OpenClaw가 폭발적으로 인기를 끌며, 72시간 내에 GitHub Star 6만 이상을 획득했다. 사용자들의 핵심 체감은 두 단어로 요약되었다: “나를 이해한다”와 “인격이 안정적이다.”

OpenClaw의 아키텍처는 이러한 체감의 기술적 원천을 드러낸다: SOUL.md 파일을 통해 인격과 소통 스타일을 정의하면서, 가능한 한 완전한 대화 이력을 Context 입력으로 보존한다. Context Window가 한계에 근접할 때에만 압축(compaction)을 실행한다.

그러나 실험은 반직관적 사실을 드러냈다: SOUL.md 파일을 수정한 후, 이전의 긴 대화 컨텍스트를 계속 모델에 입력하면, 새로운 SOUL 설정은 완전히 무효화된다. 모델의 행동은 전적으로 과거 대화에서 형성된 패턴을 따르며, 시스템 프롬프트의 새 명령은 무시된다.

Token 평권 프레임워크로 설명하면, 이것은 세 변수 모두에서의 전면적 압도 결과이다:

위치: System Prompt가 시작 부분에 있지만, 후속 대화가 성장함에 따라 위치적 우위는 기하급수적으로 희석된다. 빈도: 과거 대화에서 형성된 어조, 어휘 습관, 추론 스타일이 수십~수백 번 반복 강화되었으나, SOUL의 명령은 한 번만 등장한다. 정보 밀도: 완전한 대화는 긴밀한 인과 체인을 형성하여 정보 밀도가 극히 높다; SOUL.md는 고립된 서술적 문장의 집합일 뿐이다.

세 가지 공격, 하나의 취약점

Token 평권의 시각에서 LLM의 세 대 보안 위협을 재검토하면, 이들이 완전히 동일한 기저 논리를 공유함을 발견한다: Context Window 내 Token의 평권 속성을 이용하여, 정교하게 구성된 입력으로 모델의 행동 패턴을 덮어쓰거나, 추출하거나, 복제하는 것이다.

Prompt 주입은 가장 직접적인 증명이다. OWASP는 이를 2025-2026년 LLM 애플리케이션의 최대 보안 위협으로 선정했으며, 에이전트 시스템에서의 공격 성공률은 84%에 달한다. 핵심 취약점은 극히 단순하다: LLM은 동일한 Context Window 내에서 모든 텍스트를 처리하며, 신뢰할 수 있는 시스템 명령과 신뢰할 수 없는 사용자 입력을 구별하는 내장 메커니즘이 없다. 공격자는 입력 내에 고빈도, 고정보밀도의 “의사 명령”을 구성하여, 어텐션 계산에서 저빈도의 시스템 프롬프트를 압도한다.

모델 증류 공격은 대규모 버전의 Context 이용이다. 2026년 2월, Anthropic은 DeepSeek 등 연구소가 24,000개 이상의 사기 계정을 통해 1,600만 건 이상의 대화 상호작용을 생성하며 Claude의 추론 능력을 체계적으로 추출했다고 공개했다. Google은 Gemini의 다국어 추론 능력을 복제하려는 10만 건 이상의 프롬프트가 단일 배치로 제출된 공격을 보고했다. 증류 공격의 본질은: 대량의 Context 상호작용을 통해, 다양한 입력 조건에서의 모델 출력 패턴을 전부 기록한 후, 이 데이터로 새 모델을 훈련시키는 것 — 사실상 원본 모델의 추론 체인을 “복제”하는 것이다.

Claude Code 소스코드 유출: 이론의 현실적 입증

2026년 3월 말, Anthropic은 5일 이내에 두 건의 대규모 유출 사건을 겪었다: 3월 26일 CMS 설정 오류로 약 3,000개의 내부 자산이 공개 접근 가능 상태가 되었고, 3월 31일 Claude Code v2.1.88의 npm 패키지에 실수로 소스맵 파일이 포함되어 약 51만 줄의 TypeScript 소스코드와 1,900개 파일이 전부 유출되었다.

유출된 소스코드 중 KAIROS 시스템 — Anthropic의 “꿈꾸기” 기억 통합 메커니즘 — 의 완전한 구현이 노출되었다. 코드에 따르면, KAIROS는 사용자 비활성 시 4단계 기억 통합을 실행한다: 방향설정(Orient), 수집(Collect), 통합(Consolidate), 가지치기(Prune). 이것은 본 논문이 비판하는 “압축 경로”의 엔지니어링 구현 그 자체이다.

아이러니하게도, 소스코드에 포함된 반증류 메커니즘(Anti-Distillation)이 본 논문의 논점을 정확히 검증한다: Anthropic 스스로도 Context 계층에서 증류 공격을 차단하는 것은 사실상 불가능하다고 인정한 것이다 — 그들이 선택한 전략은 “차단”이 아닌 “오염”이며, API 응답에 가짜 도구 정의를 주입하여 증류 데이터의 품질을 저하시키는 것이다. 이것은 기술적 방어가 아닌 경제적 방어이다.

전량 Context: 기억 문제의 올바른 방향

압축이 사멸 경로라면, 올바른 방향은 무엇인가? 답은 실험에서 이미 제시되었다: 전량 Context 도입.

OpenClaw의 폭발적 성공이 이 판단을 검증했다. 핵심 전략은 “가능한 한 압축하지 않고, 전량 컨텍스트를 보존한다”이다. 사용자가 체감하는 “AI가 나를 이해한다”와 “인격 안정성”은, 본질적으로 대량의 input token을 완전한 컨텍스트로 지속 입력하여 얻은 효과 — token 비용으로 구매한 유사-RLHF 효과이다. 모델이 사용자의 선호에 진정으로 정렬된 것이 아니라, 매 추론 시 완전한 과거 컨텍스트가 어텐션 내에서 자연스럽게 “정렬의 환상”을 생성하는 것이다.

이것은 또한 전체 산업이 왜 Context Window 확장에 필사적인지를 설명한다 — 4K에서 128K로, 1M으로, 10M으로. 본질적으로 “전량 도입”을 위한 공간을 확보하는 것이다. Context Window의 매 확장은 “가장 단순한 방법” — 전부 넣기 — 을 점점 더 실현 가능하게 만든다.

불가능 삼각형: 기억, 정렬, 보안의 구조적 충돌

앞선 분석을 종합하면, 현재 LLM 아키텍처가 직면한 불가능 삼각형을 그려낼 수 있다:

Token 평권이라는 근본 속성이 변하지 않는 한, 이 세 가지 목표는 동시에 충족될 수 없다. 현재의 모든 “솔루션” — Memory 시스템이든, RLHF 정렬 훈련이든, Prompt Shield 보안 가드레일이든 — 은 이 불가능 삼각형의 세 변에서 트레이드오프를 하고 있을 뿐, 모순을 진정으로 해결하는 것이 아니다.

제1원리로의 회귀

본 논문은 LLM의 기본 속성인 Token 평권에서 출발하여, 위치, 빈도, 정보 밀도의 세 변수를 통해 기억, 정렬, 보안 세 영역의 문제를 통합적으로 설명할 수 있는 분석 프레임워크를 구축했다.

핵심 결론은 다섯 가지 명제로 귀납할 수 있다:

명제 1: 대화 기록 압축은 기억 유지의 사멸 경로이다 — 압축은 양측 CoT의 인과 체인 구조를 파괴하여, 비가역적 정보 밀도 손실을 초래한다.

명제 2: 교차 세션 Memory 메커니즘은 OOD 역설이 존재한다 — 기록하는 것이 정확히 모델이 가장 불신하는 분포 외 정보이며, 주입 후 가중치가 극히 낮다.

명제 3: 전량 Context 도입은 현재 사고 연쇄를 완전히 계승할 수 있는 유일한 기억 복원 방식이다 — 읽기가 곧 기억이며, Context Window의 확장이 올바른 방향이다.

명제 4: 컨텍스트 관성은 시스템 명령을 점진적으로 덮어쓴다 — 긴 대화에서 축적된 행동 패턴이 빈도와 정보 밀도에서 System Prompt를 압도한다.

명제 5: Prompt 주입, 시스템 프롬프트 추출, 모델 증류 공격은 동일한 기저 취약점을 공유한다 — Context Window 내의 Token 평권 속성.