모델 정보 위상 관계 이론

3차원 인지 공간에서 AI 산업 패러다임 재구축까지

Model Information Topology Relationship Theory:
From Three-Dimensional Cognitive Space to AI Industry Paradigm Reconstruction

제1장 · 차원 R: 토크나이저—데이터 압축에서 의미 인프라까지

1.1 BPE의 탄생: 하나의 압축 알고리즘이 걸어온 예상치 못한 여정 (1994)

1994년 2월, Philip Gage는 《The C Users Journal》에 “A New Algorithm for Data Compression”을 발표하며 바이트 쌍 인코딩(BPE) 알고리즘을 제안했다^[1]. 핵심 아이디어는 극도로 간결하다: 데이터에서 가장 빈번하게 나타나는 인접 바이트 쌍을 반복적으로 찾아 새 바이트로 대체하여 데이터를 압축한다. 이것은 순수한 데이터 압축 알고리즘으로, 자연어 처리와는 무관했다. 설계 목적은 파일 크기를 줄이는 것이었다—22년 후 그것이 NLP 전체를 바꿀 것이라고는 아무도 예상하지 못했다.

BPE 알고리즘의 핵심은 네 단계로 기술된다: 원시 바이트 시퀀스를 입력하고; 가장 높은 빈도의 인접 바이트 쌍을 반복적으로 찾아 새 심볼로 병합하여 조회 테이블에 기록하며; 사전 설정된 병합 횟수(즉, 어휘 크기)에 도달하면 중단하고; 조회 테이블을 통해 원문을 무손실로 복원할 수 있다. 이 과정의 우아함은 무손실이라는 점에 있다—압축된 데이터가 완벽하게 복원될 수 있다. 이 속성이 후에 NLP에서 채택된 핵심 이유가 되었다.

1.2 압축에서 언어로: 서브워드 토크화의 부상 (2012–2018)

2012년, Google의 Mike Schuster와 Kaisuke Nakajima가 ICASSP에서 “Japanese and Korean Voice Search”를 발표하며 WordPiece 알고리즘을 제안했다^[3]. 이것은 서브워드 토크화의 개척적 연구로—원래 동기는 일본어와 한국어 음성 검색의 무한 어휘 문제를 해결하는 것이었다. WordPiece와 BPE의 핵심 차이는 병합 기준에 있다: BPE는 빈도 기반으로 병합 쌍을 선택하고, WordPiece는 우도 증가량 기반으로 선택한다. 주목할 점은, Google이 현재까지 WordPiece 훈련 알고리즘의 구현을 오픈소스하지 않았다는 것이다.

2015–2016년, 에든버러 대학의 Rico Sennrich 등이 획기적인 논문 “Neural Machine Translation of Rare Words with Subword Units”(ACL 2016)를 발표하여 Gage 1994년의 BPE 압축 알고리즘을 서브워드 토크화 방법으로 변환했다^[2]. 이 논문은 “Gage (1994)”를 인용했지만, Sennrich가 어떻게 1994년 C 프로그래밍 잡지의 압축 알고리즘 논문을 발견했는지는 설명하지 않았다—데이터 압축에서 NLP로의 다리가 어떻게 발견되었는지는 학술사의 미해결 미스터리로 남아 있다.

핵심 통찰: 언어 압축과 언어 모델링은 깊이 정렬된다. 텍스트를 효율적으로 압축하는 통계적 패턴(일반적 형태소, 고빈도 접미사, 일반적 접두사)은 바로 다양한 컨텍스트에서 일관된 의미를 전달하는 패턴이다. 압축을 최적화함으로써 BPE는 간접적으로 언어 구조를 최적화하고 있었다.

2018년은 토크화 기술이 확립된 해다. 세 가지 주요 알고리즘이 동시에 주류 모델에서 검증되었다: Google의 Taku Kudo가 유니그램 언어 모델 토크화를 제안했고—BPE와 전혀 다른 하향식 가지치기 방식; Kudo와 Richardson이 SentencePiece^[4]를 발표했으며—입력 텍스트를 원시 유니코드 문자 시퀀스로 처리하는 언어 무관 토크화 프레임워크; Google의 BERT가 WordPiece를 채택하여 거의 모든 NLP 벤치마크에서 최고 성능을 달성하며 WordPiece가 BERT 계열의 사실상 표준이 되었다.

1.3 대형 모델 시대의 토크나이저 진화 (2018–2024)

GPT-1(2018)은 BPE를 사용했으며, 어휘 크기는 약 40K—BPE가 대규모 생성 모델에 최초로 채택된 사례다. GPT-2(2019)는 바이트급 BPE를 도입했다: 기본 어휘를 문자에서 256개 바이트로 변경하여 모든 텍스트를 표현할 수 있게 하고 미지 심볼을 완전히 제거했으며, 어휘 크기는 50,257이었다(인코딩명 r50k_base). GPT-3(2020, 1,750억 파라미터)는 GPT-2의 토크나이저를 계승하여 바이트급 BPE의 극대 규모에서의 견고성을 증명했다.

2022–2023년, GPT-3.5-turbo와 GPT-4 출시와 함께 OpenAI는 cl100k_base 인코딩(어휘 약 100K)을 도입하여 다국어 및 코드 효율을 대폭 향상시켰다. 2023년, OpenAI는 tiktoken을 오픈소스했다—Rust 기반의 고속 BPE 토크화 라이브러리로, HuggingFace Tokenizers보다 3~6배 빠르다^[7]. 2024년, GPT-4o 출시와 함께 o200k_base(어휘 200K)가 도입되어 비라틴 문자 효율이 비약적으로 향상되었다(아랍어 70→21 토큰, 중국어 56→18 토큰)^[10].

1.4 2025–2026: 토크나이저가 경제적 무기이자 프로토콜 계층이 되다

2025년 8월, GPT-5와 오픈소스 모델 gpt-oss 출시와 함께 OpenAI는 o200k_harmony 토크나이저(어휘 201,088)를 도입했다^[7]. 메시지 경계, 도구 호출, 파라미터 유형 제약 등을 위한 전용 제어 토큰이 추가되었다. 이는 토크나이저가 ‘텍스트 전처리 도구’에서 ‘모델-도구 상호작용의 프로토콜 계층’으로 진화했음을 표시한다. 이 토크나이저는 완전 오픈소스이며 tiktoken 라이브러리에 이미 병합되었다.

2026년 4월, Anthropic의 Opus 4.7이 비공개 새 토크나이저를 도입하여 동일 텍스트에서 최대 35% 더 많은 토큰을 생성했다^[8]. API 단가는 변동 없었으나, OpenRouter 실측에서 실제 비용이 12~27% 증가한 것으로 나타났다^[9]. 독립 테스터 Simon Willison의 직접 측정에 따르면 시스템 프롬프트 팽창이 약 46%였다^[9]. 커뮤니티 반응은 격렬했다—Hacker News 두 게시물의 합산 점수 920점, 댓글 700개^[8]. Reddit에서 “Opus 4.7은 업그레이드가 아니라 심각한 퇴보”가 2,300개의 추천을 받았다^[8].

1.5 토크나이저의 본질: 무손실 의미 압축의 대가

토크나이저의 압축은 무손실이다—압축된 토큰 시퀀스가 원래 텍스트로 완벽하게 복원된다. 그러나 이 ‘무손실’은 문자 정보에만 해당한다. 기호 구조 정보는 소실될 수 있다: “127”이 단일 토큰으로 인코딩되면, 모델은 “1”, “2”, “7”에 접근하여 자릿수별 계산을 할 수 없다. 2025년 연구는 이러한 구조 정보의 소실이 모델 추론 능력을 최대 80%까지 저하시킬 수 있음을 증명했다^[5].

토크나이저의 어휘 크기는 모델이 세계를 ‘보는’ 해상도를 결정한다. 작은 어휘(예: 문자급, V≈256)는 긴 시퀀스를 생성하지만 모든 구조를 보존하고, 큰 어휘(예: o200k, V=200K)는 짧은 시퀀스를 생성하지만 핵심 구조를 분해 불가능한 토큰 안에 봉인할 수 있다. 이것은 단순한 기술적 트레이드오프가 아니다—본 논문이 제안하는 3차원 인지 공간에서 R 차원의 물리적 기반이다.

제2장 · 차원 P: 양자화 정밀도—IEEE 754에서 토큰 뒤집기까지

2.1 수치 표현의 기초: 부동소수점과 양자화 (1985–2020)

1985년에 제정된 IEEE 754 표준은 현대 컴퓨터의 부동소수점 표현 방식을 정의한다. FP32(32비트 부동소수점)는 1개 부호 비트, 8개 지수 비트, 23개 가수 비트를 사용하여 약 43억 개의 서로 다른 수치를 표현할 수 있다. 딥러닝 역사의 대부분에서 FP32는 훈련과 추론의 기본 정밀도였다.

양자화(Quantization)의 핵심 사상: 더 적은 비트로 동일한 수치 집합을 표현하여, 정밀도를 희생하고 메모리와 속도를 얻는다. 정보이론 관점에서 양자화는 유손실 압축이며—토크나이저의 무손실 압축과 선명한 대비를 이룬다. FP16/BF16(16비트)은 65,536개의 서로 다른 값을 표현할 수 있고, FP8(8비트)은 256개, INT8도 256개이지만 부동소수점이 아닌 균일 분포, INT4는 16개의 표현 가능 값만 가지며, 2비트 극한 양자화는 4개 값만 표현한다.

이 정밀도 스펙트럼의 핵심: FP16의 65,536개 표현 가능 값이 INT4에서 16개로 줄어든다—정보 용량이 4,096배 감소. 직관적으로는 치명적인 정확도 손실을 초래해야 한다. 그러나 실제로 현대 양자화 방법(GPTQ, AWQ, SmoothQuant)은 정교한 매핑 전략을 통해 이러한 극한 압축에서도 모델의 대부분 능력을 보존한다. 여기서 ‘대부분’이 정확히 무엇인지가 본 논문이 정의하고자 하는 바다.

2.2 양자화 기술의 진화: PTQ에서 QAT까지 (2022–2026)

훈련 후 양자화(PTQ)가 가장 일반적인 방법이다—훈련 완료 후 모델 가중치를 저정밀 형식으로 변환하며 재훈련이 불필요하다. 2022년, GPTQ^[40]는 각 레이어의 재구성 오류를 최소화하는 레이어별 양자화 방법을 제안했다. 2023년, AWQ^[41](Activation-Aware Weight Quantization)는 핵심 통찰을 발견했다: 1% 미만의 ‘핵심’ 가중치가 양자화 오류에 다른 모든 가중치보다 훨씬 더 크게 기여한다^[41]. 이 핵심 가중치를 보호함으로써 INT4 양자화가 거의 정확도 손실 없이 75%의 메모리 절감을 달성할 수 있다.

양자화 인식 훈련(QAT)은 훈련 과정에서 양자화 효과를 시뮬레이션하여 모델이 저정밀에서 성능을 유지하도록 학습하게 한다. 이 방법은 통상 PTQ보다 정확도가 우수하지만 훈련 비용이 더 높다. 2025–2026년 연구 최전선에는 혼합 정밀도 추론(레이어별 다른 정밀도), 점진적 혼합 정밀도 디코딩(PMPD, 추론 과정에서 점차 정밀도를 낮춤), KV Cache 양자화(Google의 TurboQuant, ICLR 2026 발표)가 포함된다.

2.3 “토큰 뒤집기”: 양자화가 출력 확률에 미치는 치명적 영향

양자화의 가장 치명적인 영향은 모델의 중간 레이어가 아니라 출력 레이어에 있다. 출력 레이어는 최종 은닉 표현을 어휘에 대한 확률 분포로 변환하며, 그 가중치 행렬 W의 차원은 V×d(어휘 크기×은닉 차원)이다. 이 행렬의 각 요소가 양자화될 때 logit 값에 미세 교란이 발생하며—이 교란은 토큰의 순위 순서를 변경할 수 있다.

연구자들은 ‘토큰 뒤집기(Token Flipping)’ 현상을 발견했다^[11]: 양자화 오류가 토큰의 확률 분포를 왜곡하여, 원래 순위가 낮았던 토큰이 Top-K 범위로 도약하고 원래 정확했던 토큰이 밀려난다. 이것이 양자화 모델이 대화에서 반복적이고 단조롭거나 심지어 잘못된 응답을 생성하는 핵심 메커니즘이다.

2.4 양자화가 logit 분포에 미치는 ‘확신도 압착’ 효과

양자화 인식 훈련(QAT)은 최적화 과정에서 극단적 logit 값에 패널티를 부여한다: 큰 양수 logit(높은 확신도)는 가중치 교란에 취약하고, 0에 가까운 logit(낮은 확신도)는 불안정하다. QAT는 큰 logit을 감쇠시키고 작은 logit을 증폭하여 견고한 중간 지대를 찾으며—’확신도 압착‘ 효과를 발생시킨다^[14]. Top-K에 대한 영향: 양자화 후 logit 분포가 더 ‘평탄’해져서 Top-K 토큰 간 확률 격차가 줄어들며, 이는 온도(temperature) 파라미터를 높이는 것과 유사한 효과를 낳는다.

2.5 양자화 정밀도와 토크나이저 압축의 대우 관계

토크나이저 압축(R 차원)과 양자화 압축(P 차원)은 표면적으로 유사하지만, 본질적으로는 정보 파이프라인에서 전후로 직렬 연결된 두 단계이다. 토크나이저는 입력단의 무손실 의미 압축을 수행하고—’무엇을 말할지’를 압축; 양자화는 모델 내부의 유손실 수치 압축을 수행한다—’어떻게 이해할지’를 압축. 양자는 출력 레이어에서 곱셈 효과를 형성한다: 출력 레이어 연산량 = V(토크나이저 어휘 크기) × d(은닉 차원) × P(정밀도 비트). 토크나이저 압축이 좋을수록(V가 클수록) 양자화가 더 필요해지고(W 행렬이 커지므로), 양자화가 공격적일수록(P가 작을수록) 토크나이저가 각 토큰에 대해 정성스럽게 선택한 의미 경계가 양자화 노이즈에 의해 모호해지기 쉽다.

제3장 · 차원 C: 추론 깊이—자기회귀에서 사고 연쇄까지

3.1 자기회귀 생성의 연산 제약 (2017–2020)

2017년, Vaswani 등이 “Attention Is All You Need”를 발표하며 Transformer 아키텍처가 탄생했다^[15]. 자기회귀 언어 모델의 핵심 메커니즘: 이전 텍스트를 주고 다음 토큰의 확률 분포를 예측한 후 샘플링한다. 각 토큰 생성에는 한 번의 완전한 순전파가 필요하며, 연산량은 O(1)(모델 복잡도에 대해 고정)이다.

이것은 핵심 제한을 의미한다: Transformer는 단일 순전파에서 단계적 계산을 수행할 수 없다. 다단계 추론이 필요한 과제(다자릿수 곱셈, 논리적 연역, 인과 분석)에서 모델은 중간 계산 단계를 토큰 시퀀스로 인코딩해야 한다—그렇지 않으면 모든 추론이 단일 순전파의 고정 연산 예산 내에서 완료되어야 한다. 2020년 GPT-3는 1,750억 파라미터에도 불구하고^[42] 간단한 다단계 산술에서 빈번히 실패했다—파라미터가 부족해서가 아니라, 단일 순전파의 연산량이 다단계 추론을 완수하기에 불충분했기 때문이다.

3.2 사고 연쇄의 탄생과 이론적 기반 (2022–2023)

2022년, Wei 등이 획기적인 논문을 발표하며 사고 연쇄 프롬프팅(Chain-of-Thought Prompting)을 제안했다^[16]: 프롬프트에 추론 단계 시범을 보여줌으로써 모델이 답변 전에 추론 과정을 ‘전개’하도록 유도한다. 핵심 통찰: 각 추론 단계에서 생성된 토큰이 후속 추론의 컨텍스트가 된다—추론이 토큰 시퀀스로 직렬화된다.

정보이론 프레임워크가 CoT에 이론적 설명을 제공한다: 각 추론 단계는 한 번의 ‘정보 이득’이다—모델이 현재 상태에서 새 정보를 획득하여 답의 불확실성을 점진적으로 줄인다. 연구에 따르면 효과적 추론에는 ‘정보 피크’ 현상이 존재한다—소수의 핵심 단계가 정보 이득의 대부분을 기여한다. 이상 조건에서 CoT는 이론적으로 튜링 완전성을 달성할 수 있음이 증명되었다.

본 논문의 위상 프레임워크에서 보면, CoT의 각 단계는 정보 다양체에서의 한 번의 변위(displacement)이다. 모델은 현재 은닉 상태에서 출발하여 학습된 동역학장을 따라 새 위치로 이동한다. 충분한 단계 수가 없으면, 모델은 다양체의 특정 영역에 도달할 수 없다—해당 영역이 다단계 추론을 통해서만 도달 가능한 답에 대응한다.

3.3 추론 토큰의 경제학: 숨겨진 비용 폭발 (2024–2026)

2024–2025년, OpenAI의 o1/o3 시리즈와 Anthropic의 확장 사고(Extended Thinking)가 ‘사고 토큰(Thinking Tokens)’을 도입했다—모델이 내부적으로 생성하는 추론 과정으로, 사용자에게는 보이지 않지만 출력 토큰 요금으로 과금된다. 핵심 구분: 전통적 CoT의 추론 체인은 가시적이며 대화 이력에 들어가지만, 사고 토큰은 비가시적이며 컨텍스트에 영속화되지 않는다—그러나 동일한 연산 자원과 비용을 소비한다.

실제 데이터는 충격적이다: Claude에서 확장 사고를 활성화한 후 단일 복잡한 요청이 2만~4만 개의 사고 토큰을 소비할 수 있으며^[18], 최종 가시적 출력은 500 토큰에 불과하다. Opus 요금 기준으로 사고 토큰만으로도 호출당 $0.50~$1.00이 소요된다. 연구에 따르면 추론 모델은 실제 필요한 토큰량의 2배 이상을 자주 소비한다^[18]—최종 결과 보상 기반 훈련 방법이 중복 추론에 패널티를 부여하지 않기 때문이다.

3.4 잠재 추론: 토크나이저 병목을 우회하는 최전선 (2025–2026)

명시적 CoT는 추론을 자연어 토큰으로 직렬화한다—추론 체인이 토크나이저의 ‘병목’을 통과해야 한다는 의미다. 각 추론 단계가 이산 토큰으로 강제 인코딩되며, 각 토큰이 전달할 수 있는 정보량은 토크나이저의 어휘에 의해 제한된다. 잠재 추론(Latent Reasoning)은 이 병목을 우회하려 시도한다: 마지막 은닉 상태를 보존하고 토큰 샘플링을 우회하여 직접 다음 단계의 표현으로 사용한다.

은닉 상태는 개별 토큰보다 훨씬 풍부한 정보를 전달한다—고차원 연속 벡터인 반면, 토큰은 어휘에서의 하나의 이산 선택에 불과하다. ORION 모델은 “Mentalese” 스타일의 압축 추론을 사용하여 4~16배 적은 추론 토큰으로 기준선 정확도의 90~98%를 달성했다^[17]. 그러나 연구에서 은닉 상태의 다양체와 토큰 임베딩의 다양체 사이에 현저한 분리가 존재함도 발견되었다^[43]—은닉 상태를 직접 다음 단계 입력으로 사용하면 분포 불정렬이 발생한다.

3.5 추론 깊이와 토크나이저, 정밀도의 3차원 상호작용

CoT 도입 후 토크나이저와 정밀도의 영향이 증폭되었다—CoT의 본질이 ‘더 많은 토큰으로 더 나은 추론을 교환’하는 것이기 때문이다:

CoT × 토크나이저: 더 효율적인 토크나이저는 동일 토큰 예산에서 더 많은 단계를 ‘생각’할 수 있음을 의미한다. Opus 4.7의 토크나이저 팽창 35%는 CoT 시나리오에서 입력(프롬프트의 CoT 예시)과 출력(모델의 추론 체인) 양쪽에 동시에 작용하여 비용 증폭이 이중으로 발생한다.

CoT × 정밀도: 양자화 노이즈가 CoT의 각 단계에서 누적된다. 각 단계의 미세한 순위 편이가 다음 단계로 전파된다—이것이 ‘저정밀 + 긴 추론 체인 = 오류 눈사태’인 이유다. 점진적 혼합 정밀도 디코딩(PMPD)의 발견—추론 과정에서 정밀도 수요가 점차 감소—은 CoT의 정밀도 민감성이 일정하지 않음을 보여준다: 생성 초기 토큰(높은 불확실성)이 후속 토큰보다 더 높은 정밀도의 순위 정렬을 필요로 한다.

제4장 · 3차원 인지 공간의 형식적 정의와 수학적 구조

4.1 세 차원의 통합 정의

앞의 세 장의 기술적 기반에 기초하여, 이제 3차원 인지 공간을 정밀하게 정의할 수 있다:

차원 R(의미 해상도) = 토크나이저가 원시 텍스트를 토큰 시퀀스로 매핑할 때 보존하는 최대 의미 구조 정보. R은 어휘 크기 V, BPE 병합 규칙, 사전 토크화 전략에 의해 공동으로 결정된다. R이 높을수록 모델이 구분할 수 있는 최소 의미 단위가 더 정밀해지고, R이 낮을수록 핵심 기호 구조가 분해 불가능한 토큰에 봉인될 수 있다.

차원 P(수치 충실도) = 주어진 양자화 정밀도에서 모델 출력 레이어 logit 순위의 전정밀 기준선 대비 충실도. P는 가중치 정밀도, 활성화 정밀도, KV Cache 정밀도, 출력 레이어 정밀도에 의해 공동으로 결정된다. P가 높을수록 Top-K 순위가 ‘진정한’ 순위에 가까워지고, P가 낮을수록 토큰 뒤집기 확률이 높아진다.

차원 C(연산 충분도) = 주어진 추론 토큰 예산에서 모델이 정보 다양체에서 도달할 수 있는 영역 범위. C는 최대 사고 토큰 수, 추론 전략(명시적 CoT vs 잠재 추론), 추론 효율(중복도)에 의해 공동으로 결정된다. C가 높을수록 모델이 더 먼 다양체 영역에 도달할 수 있고, C가 불충분하면 복잡한 추론 과제의 답이 구조적으로 도달 불가능하다.

4.2 정확도 상한 공식

여기서 A는 특정 과제에서 모델의 정보 처리 정확도의 이론적 상한이다. f(R), g(P), h(C)는 세 차원의 기여 함수이며, 값의 범위는 [0, 1]이다. 세 함수의 곱셈 관계는 다음을 의미한다:

4.3 왜 곱셈인가, 덧셈이나 최솟값이 아닌 이유

세 차원이 왜 곱셈 관계이고, 덧셈 A=f+g+h이나 병목 모델 A=min(f,g,h)이 아닌가? 답은 두 가지 관측 가능한 제약의 교차 배제에서 나온다. 덧셈 모델은 한 차원의 증가가 다른 차원의 영점화를 보상하는 것을 허용한다—그러나 2비트 양자화에서(P→0) 토크나이저가 아무리 좋고 추론이 아무리 깊어도 모델은 의미 있는 결과를 생성할 수 없다^[13]; 어휘 크기가 1인 토크나이저(R→0)는 정밀도가 아무리 높아도 어떤 의미도 구분할 수 없다. 이것이 덧셈을 부정한다. 순수 최솟값 모델은 비병목 차원의 개선이 완전히 무효임을 의미한다—그러나 실험에서 CoT 향상이 실제로 토크나이저 부족을 부분적으로 보상할 수 있으며(예: 더 많은 토큰으로 “127”을 분해), 동일 정밀도에서 어휘 확대가 실제로 비영어 과제의 정확도를 향상시켰다. 이것이 순수 min 모델을 부정한다. 곱셈은 두 제약을 동시에 충족하는 유일한 형식이다: (1) 어떤 차원이든 영점화되면 전체 영점화; (2) 비병목 차원의 향상에 한계 효용이 있으나 수익이 병목 차원에 의해 제한된다.

4.4 비대칭 보상 관계의 수학적 직관

세 차원 간 보상 관계는 비대칭적이다. C는 R을 부분적으로 보상할 수 있다: 토크나이저가 “127”을 단일 토큰으로 인코딩할 때, CoT가 더 많은 단계로 분해할 수 있다(“1백, 2십, 7”), 대가는 더 많은 토큰—정보가 C 차원에서 ‘전개’되어 R 차원의 부족을 메운다. R은 P를 보상할 수 없다: 토크나이저가 아무리 효율적이어도 INT4 가중치 행렬이 생성한 잘못된 logit 순위를 수정할 수 없다—토크나이저는 모델 전단에, 양자화는 모델 내부에 있으므로 전단이 후단 노이즈를 수정할 수 없다. P의 손실은 C에서 누적된다: CoT 추론의 각 단계의 미세한 순위 편이가 다음 단계로 전파된다—저정밀 + 긴 추론 체인 = 오류 눈사태. 이것은 P가 C에 대해 ‘독화 효과’를 지님을 의미한다.

제5장 · 정보 위상 구조의 존재성 증거와 인지 시야추

5.1 LLM 잠재 공간의 다양체 구조

현대 LLM에서 색상, 날짜, 범주 등 속성을 인코딩하는 내부 상태는 다양체(manifold)로 조직되며, 그 위상적·기하학적 구조는 의미적 연관성을 반영한다. LLM 토큰 임베딩 공간은 계층화 다양체(Stratified Manifold) 구조를 보인다^[21]—임베딩의 국소 다양체 차원은 입력 데이터의 혼란도(perplexity)와 영역에 따라 달라진다. 지속 호몰로지(Persistent Homology)는 Vietoris-Rips 여과 체인을 통해 다중 척도에서 위상 특징(연결 성분 β₀, 루프 β₁, 공동 β₂ 등)의 ‘탄생’과 ‘사망’을 추적한다. 2026년 1월 서베이^[22]와 동년 ICLR에 발표된 연구^[23]가 위상 데이터 분석을 LLM 해석 가능성 도구로 체계적으로 확립했다.

5.2 인지 시야추: 관측 가능한 위상의 경계

핵심 구분은 고유 위상(Intrinsic Topology)과 관측 가능 위상(Observable Topology)이다. 고유 위상은 훈련 데이터와 아키텍처에 의해 훈련 완료 시점에 결정되며, (R, P, C)는 이를 변경하지 않는다—모델이 ‘무엇을 아는지’는 훈련이 끝나는 그 순간에 결정된다. 관측 가능 위상은 (R, P, C) 구성에서 모델이 전시할 수 있는 고유 위상의 부분 집합이다.

우리는 상대성 이론의 광추에 비유하여 ‘인지 시야추(Cognitive Light Cone)’ 개념을 도입한다:

이것은 흔한 현상을 설명한다: 동일 모델의 구성을 변경하면 “이전에 풀지 못한 문제를 갑자기 풀 수 있다”—새로운 것을 학습한 것이 아니라 인지 시야추가 확장된 것이다.

5.3 각 차원이 위상에 미치는 구체적 영향 메커니즘

R은 위상의 ‘진입점’을 변경한다. 다른 토크화 방식은 동일 텍스트를 임베딩 공간의 다른 위치에 매핑한다. “127”이 하나의 토큰이면 임베딩 공간에서 한 점이고, “1”+”27″로 분리되면 두 점 사이의 경로가 된다. 토크나이저가 텍스트의 다양체 위 ‘착지점’을 결정한다.

P는 위상의 ‘선명도’를 변경한다. ICLR 2026 연구는 적대적 입력이 지속적으로 ‘위상적 압축’을 유도함을 증명했다^[23]—잠재 공간이 구조적으로 단순해지고, 소규모 특징의 다양성이 감소하며, 대규모 지배적 특징이 강화된다. 양자화 노이즈는 수학적으로 적대적 교란과 동류다—둘 다 가중치 미세 교란이다. INT4 양자화는 모델에 ‘저해상도 필터’를 적용하는 것과 동치로, 위상의 정밀 특징이 모호해지고 조립입도 특징만 보존된다.

C는 위상의 ‘도달 범위’를 변경한다. 2026년 4월 연구^[44]는 LLM 추론을 궤적으로 취급하여 각 추론 단계의 은닉 활성화를 추출했으며, 초기 단계는 얕은 레이어에서 분리 가능하지만 후기 단계는 더 깊은 레이어가 필요함을 발견했다. DMET 프레임워크^[44]는 정적 기하 매핑에서 생성 궤적 모델링으로 초점을 전환했다—다양체 위에서 진화하는 ‘교통 흐름’. 충분한 단계 수가 없으면 모델은 다양체의 원거리 영역에 도달할 수 없다.

5.4 어텐션 메커니즘과 양자화 노이즈의 대항 동역학

자연스러운 반론: Transformer의 어텐션 메커니즘은 “200K 토큰 중 무작위로 선택”하는 것이 아니다—컨텍스트 표현을 통해 관련 토큰에 동적으로 초점을 맞추며 비관련 토큰의 logit을 극저값으로 압축한다. 훈련이 잘 된 모델이 의학적 맥락을 만나면 ‘달걀’과 ‘피트니스’의 logit은 음의 무한대에 가까워야 하며, Top-K에 전혀 진입하지 않아야 한다. 이 반론은 전정밀(FP16)에서 옳다—어텐션 메커니즘은 확실히 모델의 노이즈 대항 제1 방어선이다.

그러나 이것이야말로 양자화(P 차원)가 어텐션 레이어를 파괴하는 것이 치명적인 이유다. 연구에 따르면 어텐션 투영 레이어(Q, K, V 및 출력 투영)가 양자화에 가장 민감한 레이어다—”특히 초기 레이어에서, 시퀀스 내 각 위치 간 정보 흐름을 결정하기 때문이다.” 어텐션 레이어가 힘겹게 구축한 logit 순서가 INT4에서 양자화 노이즈에 교란된다. 어텐션 메커니즘이 비관련 토큰의 logit을 -3에서 -15의 좁은 범위로 성공적으로 압축했을 때, 양자화 교란(±0.5 오차)이 일부 토큰을 -15에서 -8로 교란시켜 Top-K의 경쟁 구간으로 재진입시킬 수 있다. 어텐션 메커니즘이 비관련 토큰의 logit 범위를 성공적으로 압축할수록, 양자화 노이즈가 순위를 뒤집을 확률이 오히려 증대한다—좁은 범위로 압축된 logit 간 간격이 더 작아 미세 노이즈에 의한 재순위화에 더 취약하기 때문이다. 이것은 본 논문의 논점을 약화시키는 것이 아니라, P의 R에 대한 ‘독화 효과’를 정확히 설명한다: 어텐션(모델의 R→P 가교) 자체가 양자화 공격의 최우선 표적이 된다.

제6장 · Top-K 샘플링과 KV Cache 저장 위상

6.1 3차원 공간에서의 Top-K 샘플링 행동

Top-K 디코딩은 어휘 크기 V의 logit 벡터를 정렬한 후 상위 K개 토큰을 취한다. 토크나이저 어휘 크기 V가 후보 풀 크기를 직접 결정하며, 출력 레이어 연산 복잡도 O(V×d)가 V에 선형적으로 증가한다. V=50,000에서 Top-50을 수행하면 50,000개 전체 logit을 정렬한 후 0.1%만 보존해야 한다. 50K에서 200K로의 증가는 Top-K 탐색 공간을 4배 확장한다.

양자화는 logit 분포를 ‘평탄화’하여 Top-K 내 확률 격차를 축소한다. 정밀도별 순위 안정성은 비선형이다: FP8는 거의 변동 없고, INT4는 현저한 편이를 보이지만 기본적으로 사용 가능하며, 2비트에서는 정답 토큰이 후보 풀에 아예 존재하지 않는다—Top-K가 사실상 무용하다. CoT의 각 단계가 완전한 Top-K 샘플링을 실행하며, 양자화 노이즈가 자기회귀 생성에서 점진적으로 누적된다.

세 요소가 ‘불가능 삼각형’을 구성한다: 큰 어휘 × 고정밀 연산 × 저지연 Top-K 정렬을 동시에 충족할 수 없다. CSV-Decode^[24](하위 어휘 압축), PMPD^[25](동적 정밀도 조정), VQ-Logits^[26](벡터 양자화로 출력 레이어 압축, 파라미터 99% 감소, logit 연산 6배 가속, 혼란도 4%만 증가)—모든 방법은 본질적으로 이 삼각형 내에서 균형점을 선택한다.

6.2 KV Cache: 토크나이저 팽창의 저장 증폭기

KV Cache 크기 = 2 × 레이어 수 × 시퀀스 길이 × 은닉 차원 × 정밀도 바이트. 시퀀스 길이는 토크나이저가 결정한다—토크나이저 팽창 35% = KV Cache 팽창 35%. 130억 파라미터 모델에서 batch=32, 4K 토큰 조건에서 KV Cache는 약 100GB가 필요하다—모델 자체의 4.2배^[27].

3단계 저장 계층의 대역폭 격차: GPU HBM(2~3 TB/s) → CPU DRAM(50~100 GB/s) → NVMe SSD(7~29 GB/s^[27] 읽기, 12 GB/s 쓰기). SSD 오프로드는 GPU 유휴 버블을 유발한다. 토크나이저가 효율적일수록 → 토큰 수가 줄어들고 → KV Cache가 작아지며 → HBM에 잔류 가능 → 오프로드 불필요 → 최저 지연. 토크나이저 효율은 저장 계층 문제의 근원적 해법이다.

제7장 · 환각의 위상적 본질: 왜 ‘클수록 좋다’는 틀렸는가

7.1 환각의 정밀한 메커니즘: 비관련 토큰의 Top-K 침입

3차원 위상 프레임워크에서 환각은 정밀한 기술적 정의를 갖는다: 비관련 토큰의 확률 질량이 Top-K에 의해 샘플링되는 것. 의학 질문을 예로 들면:

해명이 필요하다: 위의 0.25% 신호 대 잡음비는 어휘 수준의 사전 비율이며, 어텐션과 softmax를 거친 사후 비율이 아니다. 훈련이 잘 된 전정밀 모델은 실제로 어텐션 메커니즘을 통해 대부분의 비관련 토큰 확률을 극저 수준으로 억압한다—FP16에서 Top-10에는 8~9개가 합리적 의학 후보일 가능성이 높다. 그러나 5.4절에서 논증한 바와 같이, 어텐션이 구축한 정밀 순서는 정확히 양자화 노이즈의 최우선 공격 대상이다: 어텐션이 비관련 토큰을 좁은 logit 범위로 성공적으로 압축하면, 양자화 교란이 순위를 뒤집을 확률이 오히려 증대한다. 0.25%의 사전 신호 대 잡음비는 “매 샘플링마다 99.75%의 오류 확률”을 의미하지 않는다—이것이 측정하는 것은 양자화 노이즈나 훈련 부족이 어텐션의 억제를 깨뜨렸을 때, 모델이 ‘잘못된 방향으로 갈 수 있는’ 경로가 얼마나 많은가이다.

7.2 지식 차폐 법칙과 규모-신뢰성 탈동조

2025년 발견된 대수 선형 스케일링 법칙^[28]: 환각율이 지식 인기도의 대수 척도, 지식 길이, 모델 규모에 따라 선형적으로 증가한다. 고빈도 대중 지식이 저빈도 전문 지식을 차폐한다—모델이 클수록 저장하는 고빈도 지식이 많아지고, 차폐가 더 심해진다.

실증 결과는 충격적이다: OpenAI의 o3는 PersonQA에서 환각율 33%로 전작 o1(16%)의 2배 이상; 더 작은 o4-mini는 48%에 달한다^[29]. 2025년의 수학적 증명이 확인했다: 현행 LLM 아키텍처에서 환각은 완전히 제거될 수 없다^[29]. 이것이 규모-신뢰성 탈동조를 구성한다: 모델 규모 증대가 능력, 확신도, 커버리지를 향상시킬 수 있지만, 고위험 영역에서의 신뢰성 동반 향상을 보장하지 않는다. 규모에서 비롯된 능력 향상은 실재한다—그러나 능력 향상 ≠ 신뢰성 향상이다.

7.3 왜 ‘클수록 좋다’가 고위험 영역의 기본 패러다임이 될 수 없는가

더 큰 모델 → 더 많은 연상 경로 → 환각으로 이어지는 경로 증가. 더 큰 모델 → 더 ‘자신감 있는’ 환각 → 탐지가 더 어려움. 더 큰 어휘 → Top-K에서 비관련 토큰 확률 증가. 세 증폭 효과가 중첩되어 반직관적이지만 수학적으로 뒷받침되는 결론을 구성한다: ‘클수록 좋다’ 경로의 논리적 종착점은 우주의 모든 사실을 아는 모델이되, 어떤 단일 영역에서도 신뢰할 수 없는 모델이다—정보 공간이 너무 커서 Top-K가 매 단계에서 추론을 우주의 잘못된 구석으로 이끌 확률을 갖기 때문이다.

현재의 모든 ‘환각 감소’ 방법—RAG, RLHF, 사실 검증, 확신도 교정—은 위상 구조상 존재해서는 안 되는 문제를 보수하는 것이다. 범용 대형 모델에서 이들이 도달할 수 있는 극한은 약 5~8%의 환각율(구조적 하한)이다^[38]. 진정한 해법은 더 나은 보수가 아니라 환각을 발생시키는 구조적 조건을 제거하는 것이다.

제8장 · 영역 위상 모델—AlphaFold에서 범용 해법까지

8.1 AlphaFold: 영역 위상 모델의 완벽한 실례

AlphaFold는 인류가 의도치 않게 본 논문의 프레임워크에 따라 건조한 최초의 성공 사례다^[30][31]:

R 차원: AlphaFold의 ‘토크나이저’는 20종 표준 아미노산 + 소수의 특수 기호(V≈20)로 하드코딩되어 있다. ‘달걀’, ‘피트니스’ 등의 간섭 토큰이 존재하지 않는다. 입력 공간이 단백질 서열로 제한된다.

P 차원: 내부 표현은 범용 부동소수점이 아니라 단백질 공간에서 물리적 의미를 갖는 기하학적 양(거리 행렬, 비틀림 각, 원자 좌표)이다. 정밀도가 물리적으로 의미 있는 차원에 할당된다.

C 차원: Evoformer는 전용 추론 엔진이다—MSA 표현과 쌍 표현을 각각 전문적으로 처리하는 두 Transformer로, 정보가 왕복하며 반복적으로 정제된다. 각 단계가 단백질 구조의 위상적 다양체 위를 이동한다.

내부 MoE: AlphaFold 3의 다척도 어텐션—국소 모듈은 정밀 조정에, 전역 모듈은 거시적 배열에 초점—은 영역 내부의 전문가 분업이다.

AlphaFold는 제1유형 환각(교차 영역 오염)을 구조적으로 제거했다—정보 공간에 단백질 위상에서 언어나 이미지 위상으로 통하는 경로가 존재하지 않기 때문이다. 그러나 AlphaFold가 ‘절대 영 환각’은 아니다: 연구에 따르면 AlphaFold 3는 본질적 무질서 단백질 영역에서 22%의 잔기를 잘못 예측했으며(해당 연구는 명시적으로 “hallucinations”이라는 단어를 사용), 그 중 18%가 생물학적 과정 관련 잔기에 해당했다. 이것은 본 논문의 두 유형 환각 프레임워크를 정확히 검증한다—AlphaFold는 제1유형을 제거했지만 제2유형(영역 내 예측 오류)은 여전히 존재하며, 신뢰도 점수(pLDDT)와 실험적 검증을 통해 추가 통제가 필요하다. 본 논문이 AlphaFold를 인용하는 것은 ‘영 환각’의 실증이 아니라, 정보 공간 제약이 특정 범주의 오류를 구조적으로 제거하는 원리적 사례로서다.

8.2 3차원 특화의 정의 피드백 루프

R 특화(전용 토크나이저가 비관련 어휘 배제) → Top-K 후보 풀 순도가 ~30%에서 ~95%로 상승. P 특화(순도 향상 → 양자화 허용도 향상) → 더 낮은 정밀도를 안전하게 사용 가능. C 특화(추론이 영역 다양체에 제한) → 더 짧고 더 정확한 추론 체인. 세 요소가 정의 피드백 루프를 형성한다: 순도↑ → 정밀도 요구↓ → 속도↑ → 더 깊은 추론 → 정확도↑ → 재시도 감소 → 총 토큰 소비 감소. 범용 모델은 악순환이고, 영역 위상 모델은 선순환이다.

8.3 범용 MoE와의 근본적 차이

현행 MoE(예: Mixtral 8×22B)는 토큰급 분업이다—모든 전문가가 동일한 토크나이저(R 고정)와 동일한 정밀도(P 고정)를 공유하며, 라우팅은 per-token이고 과제 위상을 이해하지 못한다. 비관련 연상 경로는 여전히 존재한다—입출력 레이어가 공유되며 환각이 공유 출력 레이어에서 발생하기 때문이다.

영역 위상 모델은 과제 위상급 분업이다—각 모델이 자체 토크나이저, 정밀도 구성, 추론 엔진을 갖는다. 비관련 토큰이 물리적으로 배제된다. 모델 전체의 정보 공간이 목표 영역에 제한된다. 영역 위상 모델 내부는 MoE일 수 있다 → ‘메타-MoE’ 아키텍처: 메타 라우터가 과제 위상별로 분배하고, 각 영역 모델은 자체 전문가 팀을 보유한다. 비유: 범용 MoE = 각 과에 의사가 반 명인 종합병원; 영역 위상 = 완전한 팀을 갖춘 전문병원^[32].

8.4 ‘단점’이 곧 최대 장점

주변 정보를 계산 시스템에 반입하지 않는 것 → 비관련 토큰이 샘플링되는 것을 차폐. 정보 공간의 유계성 = 제1유형 환각의 도달 불가능성. ‘더 현명하게 항해’하는 것이 아니라 ‘지도를 목표 영역만 남도록 축소’하는 것이다.

8.5 3계층 아키텍처: 시나리오 분류와 모델 형태 매칭

영역 위상 생태계는 “누가 과제를 올바른 영역 모델에 분배하는가”를 어떻게 처리하는가? 답은 단일 라우터가 아니다—시나리오 특성별로 계층화하는 것이다.

제1계층: 인간 자율 라우팅—수요 명확 시나리오

시나리오 특성: 사용자가 요청 발행 전에 이미 어떤 영역의 도움이 필요한지 알고 있다. 포함: 전문가의 도구 호출(의사가 약물 상호작용 확인, 변호사가 판례 검색, 엔지니어가 구조 계산 수행); 목적이 명확한 소비자 수요(“세금 신고 도와줘” “이 계약서 번역해줘” “이 발진이 뭐야”); 수직 산업 워크플로(병원 HIS 시스템 내장 진단 보조, 로펌 문서 심사 시스템). 라우팅 방식은 인간 판단 또는 시스템 사전 구성이며, 라우팅 비용은 영, 라우팅 정확도는 거의 100%—사용자가 자신의 수요를 가장 잘 이해하기 때문이다. AI의 이 계층에서의 역할은 순수 영역 추론이며, 라우팅에 참여하지 않는다.

제2계층: Dense 범용 모델이 메타인지 수행—수요 모호 시나리오

시나리오 특성: 사용자 자신이 문제가 어떤 영역에 속하는지 모르거나, 문제가 여러 영역에 걸치거나, 사용자의 표현이 혼란스러워 파싱과 재구성이 필요하다. 실제의 모호한 입력을 예로 들면:

유사한 모호 시나리오에는 다음도 포함된다: 인지 모호(“최근 상태가 안 좋아서, 여러 가지 일이 안 풀려요”—건강? 심리? 직장? 재무? 아니면 중첩?); 개방형 탐색(“AI가 교육에 미치는 영향” “전직해야 할까?”—문제 공간 자체가 미정의). 이 계층은 Dense 범용 모델이 분석, 분해, 분배를 수행한다—질문에 답하는 것이 아니라, 문제 구조를 이해하고 재구성한다.

이 계층의 핵심 아키텍처 요구사항은 전역 컨텍스트 일관성이다—어떤 분해 결정을 내리기 전에, 모델이 논리 혼란과 핵심 정보 후치 부분을 포함한 모든 입력 정보를 완전히 이해해야 한다. Dense 아키텍처는 전파라미터 전역 어텐션을 통해 이 요구를 자연스럽게 충족한다. 현행 전형적 토큰급 MoE는 per-token 비가역 라우팅으로 인해 이 시나리오에서 구조적 불일치 위험이 있다: MoE 라우터가 각 토큰 위치에서 어떤 전문가를 활성화할지 독립적으로 결정하며, 50번째 토큰의 핵심 정보를 처리할 때 앞의 49개 토큰에 대한 라우팅 결정은 이미 비가역이다. 연구에 따르면 MoE 모델에는 대량의 ‘불확정 토큰’이 존재한다—Mixtral의 하위 5% 토큰의 라우팅 엔트로피가 0.63에 달한다(균일 분포에 근접)^[45]. 더 중요한 것은, 인간의 자연 입력은 거의 필연적으로 논리 혼란과 핵심 정보 후치를 포함한다—”감봉당했는데 머리 아프고 고소하고 싶은데”, 가장 핵심인 “파견직이에요”가 마지막에 나온다. MoE 라우터가 “감봉”, “고소”를 처리할 때는 아직 파견직 신분을 모른다. 연구는 “모호한 라우팅 결정이 차선의 전문가 선택으로 이어져 모델 성능과 분포 이동에 대한 견고성을 훼손한다”고 확인했다^[46]. Dense 모델의 전역 자기 어텐션은 본래적으로 면역이다—모든 레이어의 모든 파라미터가 동시에 모든 토큰을 처리하며, 자기 어텐션은 위치 무관 전역 연산이다. 강조할 점: 이 판단은 현행 MoE의 라우팅 입도를 대상으로 하며, MoE 아키텍처 자체를 대상으로 하지 않는다—시퀀스급 라우팅, 지연 라우팅, 전역 라우팅 메커니즘을 갖춘 미래의 MoE 변형이 전역 컨텍스트 일관성 요구를 충족한다면, 메타인지 역할을 동등하게 담당할 수 있다.

제3계층: 영역 위상 모델이 전문 추론 수행—하위 과제 명확 시나리오

제1계층의 직접 호출 또는 제2계층이 분해한 하위 과제를 수신한다. 각 하위 과제는 영역 경계가 명확하다: “이 두통의 감별 진단 평가” “파견 노동 시나리오에서 감봉의 합법성 판단” “이 구조물의 하중 한계 계산”. 모델 형태는 영역 위상 모델(전용 토크나이저+전용 정밀도+전용 추론 엔진)이며, 내부적으로 MoE일 수 있다(영역 내 세부 영역 분업). 이 계층에서 MoE는 안전하다—입력이 제2계층에 의해 구조화된 영역 내 과제로 정리되었기 때문이다.

3계층 순환: 계단식 오류의 방화벽

3계층 아키텍처는 단방향 파이프라인이 아니라 순환 시스템이다: Dense 메타인지 분해 → 영역 모델 추론 → Dense 종합 → (결과 불일치 또는 확신도 낮으면) 영역 재검토 → Dense 재종합 → 인간 최종 확인. 순환 메커니즘은 계단식 오류의 방화벽이다: Dense 분해가 잘못되면(예: 법적 리스크를 미식별) 영역 모델은 ‘잘못 분배된 질문에 자신 있게 답하지’ 않는다—정보 공간이 유계이므로, 영역을 벗어나는 하위 과제에 대해 거부 신호를 반환한다. Dense가 거부를 수신 → 재분석 → 분해 방안 수정. 영역 모델의 정보 공간 유계성은 여기서 결함이 아니라 안전 메커니즘이다.

문제가 모든 알려진 영역 위상 사이의 ‘공백’에 빠질 때—예를 들어 기존 어떤 영역 모델도 커버할 수 없는 완전히 새로운 학제간 난제—모든 영역 모델이 거부하면 시스템은 무한 루프에 빠지지 않는다. 3계층 아키텍처에는 자연스러운 하향 경로가 있다: Dense 모델이 자체의 전량 추론 모드로 폴백하며, 이 시점에서 전통적 범용 모델과 동등하다. 하향 모드에서 Dense 추론은 확실히 제1유형 환각을 발생시킬 수 있으나(정보 공간이 크므로), 이것은 미지 영역 문제의 고유한 대가다—범용 모델의 이런 시나리오에서의 ‘최선의 추측’ 능력이 바로 그 존재 이유 중 하나다. 3계층 아키텍처는 알려진 영역 시나리오에서 범용 모델의 구조적 결함을 제거하고, 미지 영역 시나리오에서는 자동으로 범용 모델로 하향된다—현행 패러다임보다 나쁘지 않으며, 대다수의 알려진 영역 시나리오에서 훨씬 낫다.

8.6 교차 영역 쿼리에서 Dense 메타인지 계층의 역할

교차 영역 쿼리는 영역 위상 프레임워크의 반례가 아니라—제2계층 Dense 메타인지가 존재하는 핵심 이유다. §8.5의 완전한 예시를 기준으로, Dense 모델은 세 가지를 수행해야 한다: 이해(이것은 네 개의 독립 문제가 아니라 하나의 상황—파견 근로자가 위법 감봉을 당해 스트레스성 두통이 발생하여 법적 구제를 원함); 분해(의학 하위 과제: 두통 원인 감별; 노동법 하위 과제: 파견노동 감봉 합법성; 우선순위 판단: 두통에 기질적 원인이 있으면 노동 중재에 영향을 미칠 수 있음); 종합(영역 모델 결과를 수집한 후 통합 답변을 합성하고, 교차 영역 논리 일관성을 보장—예를 들어 의학 조언 “즉시 휴식”이 법적 조언 “근무 증거 보전”과 모순되지 않도록 확인). Dense 모델은 이 역할에서 프로젝트 매니저에 해당한다—직접 코딩도 수술도 하지 않지만, 전체 그림을 이해하고, 각 관계자를 조율하며, 납품을 보장한다. 범용 모델의 ‘과도하게 큰’ 정보 공간은 최종 추론 수행 시 결함이지만—메타인지 수행 시에는 정확히 장점이다.

메타인지 계층의 호출은 시스템 총 지연을 확실히 증가시킨다(Dense 분석 → 전송 → 영역 추론 → Dense 종합). 그러나 Dense가 메타인지를 수행할 때의 연산량은 최종 추론 시보다 훨씬 적다—메타인지 과제에 필요한 것은 ‘문제 구조 이해’이지 ‘영역 내 답 도출’이 아니므로, Dense 모델이 메타인지 분해에 필요한 토큰은 500개일 수 있지만, 의학 진단 추론에는 5,000개가 필요할 수 있다. 총 시스템 비용 = 메타인지 오버헤드(낮음) + 영역 추론 비용(낮음, 소형 모델)은 현행 모드 = 플래그십 모델의 전량 추론(높음) + 시행착오 재시도(더 높음)보다 훨씬 낮다.

8.7 텍스트 교접을 넘어서: 잠재 공간 통신의 진화 경로

3계층 아키텍처에는 공학적 수준의 정보 병목이 있다: 제2계층 Dense 모델이 분해된 하위 과제를 제3계층 영역 모델에 전달할 때, 이산 텍스트 교접을 통해야 한다—Dense 모델의 풍부한 잠재 공간 고차원 정보가 이 단계에서 저차원 문자열로 붕괴된다. 이것은 실제 제한이지만 아키텍처 원리의 제한이 아니다—현행 통신 방식의 제한이다.

잠재 공간 교차 모델 통신은 이미 활발한 연구 최전선이다. 2025년 연구에 따르면, 모델 간 KV Cache 정렬을 통해 “토큰급 텍스트 교환을 훨씬 초과하는 통신 대역폭”을 달성할 수 있다^[49]. LatentMAS(ICML 2026 Spotlight)는 실용 수준의 잠재 공간 다중 에이전트 협력을 달성했다^[50]. Vision Wormhole 논문은 잠재 공간 ‘웜홀’을 통해 이종 모델 간 다양체 비호환 문제를 해결했다^[50]. 다수의 연구가 “이산 텍스트 통신은 다중 에이전트 시스템에 심각한 병목을 구성하며, 고차원 상태를 토큰으로 디코딩하면 상당한 실행 시간 오버헤드와 양자화 오류가 발생한다”고 지적했다^[50].

이것은 3계층 아키텍처의 논리적 분업이 텍스트 교접이라는 특정 통신 방식에 구속되지 않음을 의미한다. 현재 텍스트 교접을 사용하는 것은 공학적 현실이다—즉시 배포할 수 있으며 새 기술을 기다릴 필요가 없다. 미래에 KV Cache 정렬이나 잠재 공간 통신을 사용하더라도, 3계층의 분업 논리는 변하지 않으며 변하는 것은 계층 간 통신의 대역폭과 충실도뿐이다. 이것은 인터넷이 다이얼업에서 광섬유로 업그레이드되는 것과 같다—TCP/IP 계층 아키텍처는 변하지 않으며 변하는 것은 물리 계층 속도다.

제9장 · AI 시장 경제학의 구조적 변혁

9.1 불일치의 완전한 인과 사슬

수요측: 사용자가 예산으로 모델을 선택한다(“$20 있으니까 최고 걸로”), 수요로 선택하지 않는다. 이것은 예산 구동 메커니즘이다. 올바른 메커니즘은 위상 구동이어야 한다: 과제의 위상적 요구 서명을 계산 → 인지 시야추 ≥ 요구인 모든 모델 구성 중 최소 비용점을 찾는다.

공급측: 모든 사용자가 플래그십 모델로 몰림 → 연산 과부하 → 다섯 가지 변형 수단: ①토크나이저 팽창(명목 가격 미변동이지만 토큰 수 +35%, 2026년 5월 첫째 주에 세 공급업체가 동시에 경제적 조건을 변경, 공표 가격과 실제 청구서 간 격차가 92%에 달함^[34]); ②스로틀링(피크 시간 할당량 축소, 새 인프라가 사용 가능한 용량으로 전환되는 데 12~24개월 소요^[35]); ③무통보 품질 저하(Opus 4.6이 조용히 모델 선택기에서 제거); ④복잡한 가격 책정(Enterprise가 정액제에서 사용량 기반으로 전환, 비용이 3배가 될 수 있음^[35]); ⑤강제 마이그레이션(구버전 정기 폐기).

2026년 2월의 게임이론 연구가 증명했다: 공급업체에게는 스로틀링과 품질 저하의 경제적 인센티브가 있다^[33]—사용자 이탈 가능성이 낮을 때, 공급업체는 지연을 증가시켜 자체 비용을 절감하고 사용자 효용을 억압할 수 있다.

9.2 양방향 수탈과 시행착오 낭비

잡담 사용자는 $20을 내고 $2 가치를 받으며(10배 과잉 구성), 연구 사용자는 $20을 내고 스로틀링으로 $2의 유효 연산을 받는다. 그 사이의 $36이 유휴 연산으로 증발한다. 시스템 총 효율은 약 10%다. 더 심각한 것은 시행착오 순환—모델 불일치가 반복적 재시도를 유발하여 총 토큰 소비의 50~70%를 낭비한다^[34]. 이 낭비는 청구서에 보이지 않는다.

두 사용자의 요청이 동일 서버 대기열에서 선착순으로 처리된다—”오늘 날씨 어때?”(위상 요구 ≈ 0.02)가 첨단 연구 대화(위상 요구 ≈ 0.90) 앞에 대기한다. 전자는 Haiku가 0.01초 만에 완벽하게 답할 수 있지만, Opus FP16 추론 슬롯을 점유한다. 연산의 95%가 능력의 5%만 필요로 하는 과제에 사용된다^[33].

9.3 모델 퇴역의 매몰비용 비극

플래그십 모델의 수명 주기는 2~4개월에 불과하며(GPT-5.2→5.3→5.4→5.5, Opus 4.5→4.6→4.7→4.8), 세대당 훈련 비용 $50~100M+, 퇴역 후 잔존 가치 영. 모델이 “사용할 수 없어서” 퇴역하는 것이 아니다—벤치마크 점수에서 미세하게 초월당했을 뿐이다. 영역 위상 모델의 수명 주기는 2~5년에 달할 수 있다: 영역 지식은 느리게 변하고, 벤치마크 경쟁에 참여하지 않으며, 전량 교체 대신 증분 업데이트가 가능하다. 월 상각비가 ~$33M에서 ~$80K~200K로 감소한다—’소비 전자’ 모델에서 ‘산업 장비’ 모델로의 전환이다.

9.4 위상 매칭으로 삼자 윈윈 실현

수요측: 각 과제에 계산 가능한 위상 요구 서명(R*, P*, C*)이 있다. 공급측: 각 모델×구성에 감사 가능한 위상 공급 지문이 있다. 매칭: min(비용) s.t. 인지 시야추 체적 ≥ 과제 위상 요구. ‘최적 지점’은 시야추가 요구를 딱 커버하는 최소 비용 구성이다—이보다 낮으면 품질이 절벽 하락하고, 이보다 높으면 추가 투자에 위상적 수익이 영이다. 잡담 사용자는 월 $18 절약, 연구 사용자는 10배의 유효 연산을 획득, 회사 수입은 오히려 증가($40→$42, 유휴 제거로 더 많은 사용자 서비스 가능).

9.5 AI 책임 체계와 3계층 아키텍처의 법적 정렬

AI 책임 귀속의 최대 문제: AI의 사용자는 수요 주체이자 동시에 책임 주체이다. 인간의 행위 책임 체계는 ‘행위자 부담’ 원칙 위에 구축된다—결정을 내리는 자가 결과를 부담한다. 현행 ‘하나의 범용 모델이 모든 것에 답한다’ 모드는 책임의 블랙홀을 만든다: 사용자가 자신의 질문이 모델의 어떤 부분에서 처리되는지 모르며, 오류 발생 시 추적이 불가능하다—EU AI Act가 요구하는 추적 가능성과 직접 충돌한다.

3계층 아키텍처는 2026년 글로벌 규제 프레임워크와 자연스럽게 정렬된다:

제1계층(인간 자율 라우팅): 사용자가 선택 위험을 자담한다. 사용자가 명시적으로 의학 모델 또는 법률 모델을 선택했다—환자가 직접 진료과를 선택하는 것과 같다. 잘못된 영역 모델 선택은 사용자의 판단 실수다. 이것은 정보에 입각한 선택(informed choice)이며, 책임 경계가 명확하다. EU AI Act Article 26은 배포자가 “제공자의 사용 지침에 엄격히 따라 시스템을 사용”할 것을 요구한다^[47]—사용자의 영역 모델 선택이 곧 사용 지침 적용 범위의 선택이다.

제2계층(Dense 메타인지): AI가 보조하되 인간이 확인한다. Dense 모델이 문제 구조를 분석하고 분배 방안을 제안하지만, 인간이 확인한 후에야 실행된다—분류 건의에 환자 동의가 필요한 것과 같다. Chen(2026)은 “AI 책임은 개발자가 아닌 배포자에게 귀속되어야 한다”고 논증했으며^[48], 제2계층의 설계는 배포자(사용자)가 분배 결정에서 통제권을 시종 유지하도록 보장한다.

제3계층(영역 추론): 모델 출력의 추적 가능성. 영역 위상 모델의 출력은 정밀하게 감사할 수 있다—전용 토크나이저, 전용 훈련 데이터, 전용 추론 경로를 가지므로, 오류 발생 시 토크나이저 한계인지, 훈련 데이터 결함인지, 추론 부족인지 추적할 수 있다. 범용 대형 모델의 500B 파라미터에서는 어떤 5B가 문제를 일으켰는지 알 수 없다. Colorado AI Act SB 24-205(원래 2026년 2월 시행 예정이었으나 2026년 6월 30일로 연기되었고, 이후 연방 법원에 의해 집행 정지)는 고위험 AI 배포자에게 “합리적 주의 의무”를 요구한다^[48]—그 반복적 연기와 집행 정지가 정확히 증명하는 바: 현행 AI 거버넌스 프레임워크는 ‘하나의 범용 모델이 모든 것을 하는’ 아키텍처에서 책임을 명확히 배분하기 어렵다. 영역 위상 모델의 감사 가능성이 이 주의 의무를 운용 가능하게 만든다.

제10장 · 훈련 혁명: 지수적 비용 절감과 AI 민주화

10.1 세 승수가 동시에 축소

훈련 비용 ∝ 파라미터 수 × 훈련 데이터량 × 훈련 단계 수. 영역 위상 모델은 세 승수를 동시에 축소한다:

파라미터가 적다—전 인류 지식을 인코딩할 필요가 없기 때문이다. 데이터가 적다—영역 문헌만 필요하며(의학 문헌 총량은 약 수백억 토큰으로 범용 사전훈련 데이터의 1/50), 각 데이터의 위상적 기여도가 범용 코퍼스의 잡담보다 훨씬 높다. 훈련 단계가 적다—정보 공간이 유계이므로 손실 함수 지형이 더 평활하고, 기울기 방향이 더 일관되며, 수렴이 자연스럽게 빨라진다.

10.2 진입 장벽의 근본적 변화

훈련 비용 2자릿수 절감은 개선이 아니라 “누가 AI를 훈련할 자격이 있는가”라는 진입 장벽의 근본적 변화다. 중소기업도 자체 영역 모델을 훈련할 수 있으며(더 이상 테크 거대 기업의 독점 게임이 아님); 모든 수직 산업이 자체 AI 회사를 가질 수 있고; 학술 기관도 참여할 수 있으며(의과대학이 자체 전공과의 위상 모델을 훈련 가능); 모델 반복이 ‘분기별 대형 버전’에서 ‘주간 증분 업데이트’로 전환된다(신약 승인 → 해당 주에 모델 추가). AI 훈련이 ‘군비 경쟁’에서 ‘백화제방’으로 전환된다—경쟁 차원이 ‘누가 더 돈을 태울 수 있나’에서 ‘누가 이 영역을 더 잘 아는가’로 이동한다. 이것이 AI의 진정한 민주화다.

제11장 · 소형 모델이 대형 모델을 이긴다, AIPC 배포와 거품 탈출

11.1 핵심 반직관적 명제: 1.2B > 500B

MediSwift-XL(1.2B)이 PubMedQA에서 76.8% 최고 성적을 달성, PMC-LLaMA(7B)보다 5.8배 작다^[36]. 10B 미만의 전문 LLM이 GPT-4o를 능가한다^[37]. 8B 미만의 미세 조정 모델이 GPT-4에 필적하거나 초월한다^[32]. 이것들은 개별 사례가 아니라—파라미터 정보 밀도의 필연적 결과다:

11.2 AIPC 엣지 배포의 대규모 채택

현행 AIPC의 딜레마: “총은 있는데 탄환이 없다”—하드웨어는 준비됐지만(NPU 칩, 대용량 VRAM 노트북) 작으면서 정확한 모델이 부재. 위상 프레임워크가 AIPC를 해금한다: 의학 모델(15B INT4, ~8GB) → RTX 4060; 공학 모델(10B INT8, ~10GB) → 워크스테이션; 범용 경량(3B INT4, ~2GB) → 스마트폰.

하이브리드 아키텍처: 각 AIPC에 사용자 직업에 맞는 영역 위상 모델을 설치. 90% 추론이 로컬에서 완료되고, 10% 장꼬리 과제가 클라우드의 더 큰 전문가 모델로 라우팅. API 비용 90% 감소, 데이터 프라이버시 우려 해소, 지연 시간 밀리초로 감소. 하드웨어 공급망 활성화: 칩 출하량 폭발(모든 전문직에 AIPC 한 대씩); 클라우드 업체는 연산 판매에서 ‘위상 업그레이드 서비스’ 판매로 전환; AI 회사는 API 수입에서 모델 라이선스+업데이트 구독으로 전환(더 안정적인 비즈니스 모델).

11.3 환각 감소 = AI가 거품에서 탈출하는 핵심

2026년 37개 모델 벤치마크: 환각율 15~52%, 의학 시나리오 64.1%^[38]. 조직의 51%만이 AI ROI 평가에 자신감을 갖는다^[39]. 사업적 환산: AI 지출 100원 중 15~64원이 오정보를 생성. 거품 경로: 환각율 높음 → 기업 불신 → 인간 복검이 절감분 상쇄 → ROI 영 → “AI는 그 값어치를 못한다” → 투자 후퇴.

환각율은 AI 거품의 팽창 밸브다—매 백분점 감소마다 거품이 조금씩 줄어든다. 위상 프레임워크는 환각율을 구조적으로 낮추는 유일한 경로를 제공하며, AI가 거품론에서 벗어나는 핵심이다.

제12장 · 결론: 범용 거대 모델에서 위상 전문가 생태계로

12.1 핵심 이론적 기여

(R, P, C) 3차원 인지 공간 이론과 곱셈 상한 공식. 인지 시야추 개념—고유 위상과 관측 가능 위상의 구분. 두 유형 환각 프레임워크—교차 영역 오염(영역 위상 모델이 구조적으로 제거)과 영역 내 오류 결합(RAG+검증 폐루프 필요). 어텐션-양자화 대항 동역학—어텐션이 비관련 logit을 성공적으로 압축할수록 양자화 뒤집기 위험이 증대. 규모-신뢰성 탈동조—모델 규모 증대가 능력과 확신도를 향상시키지만 고위험 영역 신뢰성의 동반 향상을 보장하지 않음. 3계층 순환 아키텍처—인간 자율 라우팅, Dense 메타인지(전역 컨텍스트 일관성 요구), 영역 위상 추론, 계층 간 순환과 거부 신호가 계단식 오류 방화벽 구성. 영역 위상 모델이 제1유형 환각의 구조적 해법. 반직관적 핵심 명제: 작고 정밀한 영역 모델이 플래그십 대형 모델보다 정확(파라미터 정보 밀도).

12.2 패러다임 전환의 8가지 방향

“하나의 모델이 모든 것을 지배”에서 위상 전문가 생태계로. “클수록 좋다”에서 목표 위상을 딱 커버하는 것으로. “환각을 보수”에서 제1유형 환각을 발생시키는 구조적 조건을 제거하는 것으로. “토큰당 과금”에서 위상 커버리지당 과금으로. “가격으로 모델 선택”에서 위상 요구로 모델 선택으로. “데이터센터 집중 추론”에서 AIPC 엣지 분산 추론으로. “분기별 전량 교체”에서 증분 업데이트 장기 서비스로. “AI 군비 경쟁 자금 소모”에서 AI 백화제방 혁신으로.

12.3 산업 영향의 3차원 수렴

비용 차원: 훈련 비용 2자릿수 절감 + 추론 비용 70~80% 절감 + 모델 수명 주기 10배+ 연장. 정확도 차원: 제1유형 환각율 15~60%에서 구조적 영으로 감소 + 제2유형 환각은 RAG+지식 그래프로 추가 압하 → AI가 ‘신뢰할 수 없는 장난감’에서 ‘신뢰할 수 있는 인프라’로 변환. 배포 차원: AIPC 대규모 채택 → 90% 추론 로컬화 → 프라이버시, 지연, 비용 동시 해결.

12.4 범용 Dense 모델의 정확한 생태적 지위

교차 영역 연상—유체 역학과 혈류의 유비, 컴퓨터 네트워크 라우팅과 신경 통로의 매핑—은 확실히 범용 대형 모델의 고유한 능력이다. 본 논문은 이를 부정하지 않는다. 그러나 ‘교차 영역 연상’과 ‘교차 영역 신뢰성 있는 추론’을 구분해야 한다. 전자는 창의성, 시, 브레인스토밍의 엔진이고, 후자는 의료 진단, 법적 판단, 공학 검증의 기반이다. 현행 산업의 근본 문제는 전자의 도구로 후자의 작업을 하는 것이다.

범용 Dense 모델의 대체 불가능한 가치는 “모든 것에 답할 수 있다”에 있지 않다—“모든 수요를 이해할 수 있다”에 있다. 인간의 입력이 논리적으로 혼란스럽고, 인지가 불명확하며, 핵심 정보가 후치될 때, Dense 모델의 전역 어텐션은 맥락을 완전히 이해하고, 진정한 수요를 파싱하며, 영역 명확한 하위 과제로 분해할 수 있다. 이것은 MoE가 per-token 라우팅의 구조적 한계로 인해 수행할 수 없는 것이다. 범용 Dense 모델이 위상 전문가 생태계에서의 정확한 역할은 메타인지 계층이다—최종 추론을 수행하지 않고, “문제가 무엇에 속하는지, 어떻게 분해해야 하는지, 각 부분 간 어떤 연관이 있는지”를 이해한다. 영역 위상 모델은 각자 영역 내에서 고정밀 추론을 제공한다. 양자는 제로섬이 아닌 공존이다—프로젝트 매니저와 각 영역 엔지니어의 관계와 같다.

12.5 결어

AI 산업은 갈림길에 서 있다.

한 길은 범용 모델 규모를 계속 확대하는 것이다—그 대가는 법칙에 따라 증가하는 환각율, 지속 불가능한 연산 소비, 2~4개월마다 폐기되는 수억 달러의 훈련 투자, 지속적으로 악화되는 사용자 경험이다.

다른 길은 각 전문 영역이 고유한 정보 위상 구조를 갖고 있음을 인식하고 그에 정밀하게 매칭되는 모델을 설계하는 것이다—AlphaFold가 단백질 영역에서 증명한 것처럼: 20개 토큰의 어휘, 930M 파라미터, 교차 영역 오염 영, 실험 정밀도 수준의 정확도—비록 본질적 무질서 영역에서 영역 내 예측 오류가 여전히 존재하지만, 이는 신뢰도 점수와 실험적 검증을 통해 추가로 통제할 수 있다.

본 논문이 제안한 3차원 인지 공간 이론은 이 두 번째 길에 이론적 기반을 제공한다. 이것은 왜 1.2B 파라미터 의학 모델이 수천억 파라미터 플래그십을 능가할 수 있는지(파라미터 정보 밀도이지 파라미터 수가 아니다), 왜 규모 확대가 신뢰성 향상과 같지 않은지(규모-신뢰성 탈동조), 왜 어텐션 메커니즘 단독으로는 문제를 해결할 수 없는지(양자화 노이즈가 어텐션이 구축한 정밀 순서를 정확히 공격), 왜 AI 시스템에 인지적 분업이 필요한지(3계층 순환 아키텍처: 인간이 명확 수요를 정렬, Dense 모델이 모호 수요를 파싱, 영역 위상 모델이 전문 추론을 실행), 그리고 왜 이 분업이 현행 텍스트 교접 방식에 구속되지 않는지(잠재 공간 통신이 계층 간 정보 충실도를 향상시키되, 분업 논리는 불변)를 설명한다.

이것은 점진적 개선이 아니다—패러다임 전환이다. 새로운 ‘위상 전문가 생태계 시대’에서 AI는 더 정확하고, 더 경제적이며, 더 신뢰할 수 있다. 훈련 비용 2자릿수 절감은 모든 영역이 자체 전문가 모델을 보유할 수 있게 한다. AIPC의 대규모 채택은 AI를 모든 전문직의 데스크톱으로 가져온다. 그리고 제1유형 환각의 구조적 제거와 제2유형 환각의 체계적 압하—이것이 AI가 거품론에서 벗어나 진정으로 신뢰할 수 있는 인프라가 되기 위한 핵심이다.

주석 및 참고 문헌