제1장 서론

1.1 연구 배경

Vaswani 등이 2017년 “Attention Is All You Need”를 발표한 이후, Transformer 아키텍처는 대규모 언어 모델 분야에서 거의 절대적인 지배적 위상을 차지해 왔다. 그러나 모델 능력의 기하급수적 성장과 함께, 복수의 독립적 연구 커뮤니티가 각각 일련의 지속적 결함을 발견했다: Stanford/UC Berkeley의 “Lost in the Middle” 현상(Liu et al., 2023), MIT Han Lab의 Attention Sink 행동(Xiao et al., 2023), NeurIPS 2024에서 증명된 표현 붕괴(Barbero et al., 2024), 그리고 구현 지능 배포에서 반복적으로 나타나는 물리 세계 매핑 실패.

사정거리 한정: 본 논문의 비판 사정거리는 decoder-only autoregressive Transformer로 특정한다—이것은 2024-2026년 모든 프로덕션급 LLM(GPT 시리즈, Claude 시리즈, Gemini 시리즈, DeepSeek 시리즈, Llama 시리즈)의 통일된 기저 아키텍처이다. 본 논문의 두 구조적 제약—공간 라우팅 모순과 시간 생성 모순—은 모두 decoder-only 인과 디코더의 특성이다. 본 논문은 인코더-디코더 아키텍처(원래의 Transformer 등)나 순수 인코더 아키텍처(BERT 등)를 다루지 않는다. Encoder-only 아키텍처는 자기회귀 제약을 받지 않으며, 양방향 어텐션 메커니즘의 정보 라우팅 특성도 인과 마스크 하의 단방향 어텐션과 다르다. Encoder-Decoder 아키텍처의 교차 어텐션(cross-attention)은 상이한 선택적 정보 라우팅 행동을 보인다. 본 논문의 “존재론적 모순”은 decoder-only 패러다임 고유의 것이다—인과 마스크 + softmax 제로섬 경쟁 + 자기회귀 next-token 출력의 삼중 결합에서 비롯된다.

2026년 중반 현재, 이러한 문제들은 여전히 독립적 결함으로 취급되며, 각각 독립적인 연구 커뮤니티와 격리된 해결책을 보유하고 있다. 어텐션 분야의 연구자들은 위치 인코딩과 희소 어텐션에 집중하고, Agent 분야의 엔지니어들은 컨텍스트 엔지니어링과 메모리 관리에 집중하며, 구현 지능 커뮤니티는 다중모달 융합과 세계 모델에 집중한다.

1.2 핵심 논점

본 논문은 급진적이지만 검증 가능한 논점을 제시한다: 위의 모든 문제는 병렬 관계가 아니라 동원(同源) 관계이다—이들은 동일한 구조적 모순이 서로 다른 차원에 투영된 것이다. 이 모순은 Transformer 아키텍처의 존재론적 모순으로 정밀하게 서술할 수 있다:

1.3 연구 기여

기여 1: 다중 헤드 어텐션(수단)과 Next Token Prediction(목적) 사이의 존재론적 대립 관계를 식별하고 명명한다—이 모순은 2026년 6월 현재 학술 문헌에서 완전하게 서술된 바 없다.

기여 2: 수학적 기초에서 물리 세계 결과에 이르는 4계층 완전 인과 사슬을 구축하며, 데이터 처리 부등식(DPI)을 전 사슬을 관통하는 통합 정보이론 도구로 사용한다.

기여 3: “가치 있는 잉여(Valuable Redundancy)” 가설을 제안한다—행렬 계산이 유일해에 정렬될 때 방출되는 잉여가 극히 높은 유효 정보를 담고 있으며, 이 정보는 다중 헤드 어텐션이 추구하는 최적 해 후보이지만, Next Token의 argmax 배척 메커니즘에 의해 비가역적으로 폐기된다.

기여 4: 물리 세계에서 LLM 출력까지의 완전한 정보 압축 파이프라인을 정량화(총 압축비 ~10⁸)하여, MLLM + WM 아키텍처의 정보이론적 기초를 확립한다.

1.4 논문 구조

본 논문은 4계층 점진 구조를 채택한다. 제2장은 수학적 기초를 확립하고(Softmax의 제로섬 경쟁 메커니즘), 제3장은 아키텍처 계층의 모순을 밝히며(다중 헤드 어텐션과 Next Token의 존재론적 대립), 제4장은 시스템 계층의 증폭을 분석하고(Agent 아키텍처의 연쇄 고장), 제5장은 물리 세계 계층의 단절을 논의한다(오류 허용 계층 제거 후의 전면 노출). 제6장은 4계층 인과 사슬을 통합하고 2차원 아키텍처 제한 모델(공간 라우팅 모순 × 시간 생성 모순)을 수립하며, 제7장은 현재 해결책 전경을 평가하고 2차원 프레임워크에 매핑하며, 제8장은 한계(계산 열역학 제약을 미다룬 제3차원으로 포함)와 시사점을 논의하고, 제9장은 결론과 미래 방향을 제시한다.

제2장 제0계층: 수학적 기초 — 제로섬 경쟁 메커니즘으로서의 Softmax

2.1 Softmax 정규화의 세 가지 수학적 귀결

Softmax 함수는 어텐션 logits를 확률 분포로 매핑한다:

이 정규화 제약은 시퀀스 길이 N이 증가함에 따라 세 가지 수학적 귀결을 유발한다:

2.1.1 어텐션 엔트로피의 최대 엔트로피 수렴 (Θ(log N))

Barbero 등(2024)은 softmax 어텐션의 엔트로피가 시퀀스 길이에 대해 Θ(log N) 속도로 증가함을 증명했다. 물리적 함의: N이 충분히 클 때, 각 토큰이 받는 어텐션은 1/N에 수렴한다—본질적으로 “아무것도 주목하지 않는 것”과 같다. α-entmax는 엔트로피를 O(log s)(s는 비영 지지 집합의 크기)로 유지하는데, 이는 softmax가 근본적으로 결여한 성질이다.

2.1.2 최대 어텐션 값의 0 수렴 (어텐션 페이딩)

Nakanishi(2025)는 “Scalable-Softmax Is Superior for Attention”에서 softmax 출력 벡터의 최대 원소가 입력 벡터 차원이 증가함에 따라 0으로 수렴함을 증명했다. 이는 “어텐션 페이딩(Attention Fading)”으로 명명되었으며, 긴 컨텍스트에서 핵심 정보를 우선 처리하는 모델의 능력을 직접적으로 저하시킨다.

2.1.3 표현 붕괴 (Representational Collapse)

Barbero 등(NeurIPS 2024, “Transformers Need Glasses!”)은 서로 다른 입력 시퀀스가 최종 토큰에서 임의로 가까운 표현을 생성할 수 있음을 수학적으로 증명했다. 모델은 증명 가능한 의미에서 이 시퀀스들에 서로 다르게 반응할 수 없다. 이 효과는 현대 LLM이 일반적으로 사용하는 저정밀 부동소수점 형식 하에서 더욱 악화된다. 후속 연구에서 Transformer가 정보를 “과도하게 혼합”하는 경향이 있음이 발견되었다—깊이가 증가하고 컨텍스트가 길어질수록, 표현이 무차별 상태로 수렴한다. Attention Sink 현상은 실제로 모델이 표현 붕괴에 대항하려는 자발적 전략이다.

2.2 제로섬 게임 해석 프레임워크

위의 세 가지 귀결을 제로섬 게임 프레임워크 하에 통합한다. Softmax의 정규화 제약(모든 가중치의 합이 1)은 경쟁적 배제 동학을 생성한다: 어떤 위치에 대한 어텐션의 증가는 필연적으로 다른 모든 위치에 대한 어텐션의 감소를 초래한다. 이것은 “단봉 선호(unimodal preference)”를 생성한다—softmax는 자연적으로 확률 질량을 소수의 고점수 위치에 집중시키는 경향이 있다. 또한 ZeroS 연구(2026)는 softmax 어텐션이 값 벡터의 볼록 결합(convex combination)을 생성함을 지적했다—모든 가중치가 양수이고 합이 1—정보를 가산적으로만 혼합할 수 있으며, 감산이나 대비 연산을 표현할 수 없다.

2.3 다봉 충실도 감쇄

모델이 분산된 복수의 정보원에 동시에 주목해야 하는 과제(다봉 과제)에서, 제로섬 제약은 다원 검색의 충실도에 구조적 압력을 가한다. 2026년 4월의 NIAH-2 벤치마크가 이 감쇄를 정밀하게 정량화했다:

표 1: 2026년 4월 기준 프런티어 모델 장문 컨텍스트 검색 벤치마크 (출처: Digital Applied 산업 벤치마크 편찬, 현상적 근거로 인용)

단일 바늘에서 다중 바늘로의 정확도 하락(22-37 퍼센트포인트)은 softmax의 단봉 선호가 다봉 과제에 직면했을 때의 직접적 수학적 시그니처이다. NoLiMa 벤치마크(ICML 2025)는 질문과 답 사이의 문자적 어휘 중복을 제거한 후, 128K+ 컨텍스트를 지원한다고 주장하는 12개 모델 중 10개가 32K에서 기준선의 50% 아래로 정확도가 추락했음을 발견했다—GPT-4o조차 99.3%에서 69.7%로 하락했다. NVIDIA의 RULER 벤치마크의 다항 테스트는 대부분 모델의 유효 윈도우가 명목 윈도우보다 현저히 짧음을 보여준다.

2.4 Lost in the Middle과의 인과적 연결

Lost in the Middle의 U자형 어텐션 곡선은 제로섬 경쟁과 위치 인코딩 사전 편향의 중첩 결과이다. RoPE 등 위치 인코딩은 자연적으로 시작과 끝 위치에 경쟁 우위를 부여하며, softmax의 제로섬 메커니즘이 이 우위를 증폭시킨다. Anthropic의 2023년 발견이 이를 반증한다: 프롬프트에 “Here is the most relevant sentence in the context”라는 한 문장을 추가하는 것만으로 정확도가 27%에서 98%로 상승—모델이 중간 정보를 “보고 있었으나” 해당 정보가 위치 편향에 의한 제로섬 경쟁에서 억제되었음을 증명한다. 2025년의 SealQA 연구는 일부 최신 모델(GPT-4.1-MINI 등)이 고전적 U자형 편향을 완화했지만, 문제가 “위치 민감성”에서 “대량 노이즈 컨텍스트 내 관련성 모델링의 일반적 어려움”으로 전환되었음을 발견했다.

2.5 본 장 소결

제3장 제1계층: 아키텍처 모순 — 다중 헤드 어텐션과 Next Token의 존재론적 대립

3.1 Next Token Prediction의 “유일해” 본질

3.1.1 형식적 기술: 고차원에서 영차원으로의 연쇄 차원 축소

최종 계층 이후, 은닉 상태가 unembedding 행렬과 곱해져 logits를 생성한다—어휘의 모든 토큰에 대해 각 위치에서의 점수. 생성 시에는 마지막 행만이 의미를 갖는다. Argmax(또는 샘플링)가 하나의 토큰 ID를 산출한다. 임베딩, 쿼리, MLP 활성화—전부 폐기된다. 이것은 d_model 차원 공간에서 V차원 logits로, 다시 0차원 정수로의 연쇄 차원 축소 파이프라인이다.

3.1.2 논리학적 관점

수리논리학 관점에서 next-token prediction은 전건 긍정(modus ponens)에 대응한다—접두사를 전제로 주어진 상태에서 유일한 논리적 후건을 도출한다. 시퀀스 처리가 Curry-Howard 대응 하의 구성적 증명 확장이 된다(Tarau, 2026, Arrow Language Model).

3.1.3 SVM 해석

Tarzanagh 등(NeurIPS 2023)은 next-token 예측 목적으로 학습된 self-attention 모델이 토큰 우선순위 그래프에 기반한 서포트 벡터 머신(SVM)을 구현함을 증명했다—저우선순위 토큰을 억제하여 고우선순위 토큰을 예측하고, 동순위 토큰 간에 softmax 확률을 분배한다.

3.2 다중 헤드 어텐션의 “최적해 탐색” 본질

3.2.1 다중 헤드의 표현 용량 우위

Cui 등(2024)은 다중 헤드 어텐션이 단일 헤드 어텐션보다 우월함을 수학적으로 증명했다—예측 손실의 곱셈 상수가 더 작다. 핵심 세부: 단일 헤드에 추가 선형 계층을 더해도 행렬의 랭크가 변하지 않으며(여전히 d+1), 추가 계층이 단일 헤드의 표현 용량을 확장하지 않음을 시사한다. 다중 부분공간 병렬 탐색만이 이 한계를 진정으로 돌파한다.

3.2.2 다중 헤드의 설계 의도

각 헤드는 독립적으로 어텐션 패턴을 계산하며, 서로 다른 유형의 관계—구문 구조, 의미적 유사성, 장거리 의존—를 포착한다. 이론상 H개의 헤드는 H개의 상호보완적 관점을 제공하여, 집계 시 단일 헤드보다 더 풍부한 표현을 산출해야 한다.

3.3 모순의 세 가지 발현

3.3.1 의미적 희석 (Semantic Dilution)

각 어텐션 헤드는 독립적으로 학습된 투영 행렬(W_Q, W_K, W_V)을 통해 임베딩을 d_head 차원 부분공간으로 매핑한다. 이것은 임베딩 벡터의 물리적 절단이 아니라 학습된 선형 재인코딩이지만—부분공간 투영, 헤드 간 집계 압축, concat + linear projection의 랭크 제약이 정보 분산과 재조합 손실을 초래할 수 있어, “의미적 희석 문제”(Semantic Concentration Multi-Head Self-Attention, 2025)를 발생시킨다. 핵심 역설: “최적해”를 찾기 위해, 다중 헤드 메커니즘이 부분공간 분해를 통해 “유일해 후보”를 재인코딩하지만, 집계 단계의 선형 투영이 각 헤드의 독립적 발견을 무손실로 재조합하지 못할 수 있다.

3.3.2 헤드 잉여 (Head Redundancy)

실증 연구에서 다수의 헤드가 유사한 어텐션 패턴을 학습함이 발견되었다—가장 흔한 것은 대각선과 수직선(Optimizing Knowledge Distillation, 2025). Michel 등(NeurIPS 2019)은 다수의 헤드를 성능 손실 없이 가지치기할 수 있음을 보여주었다. 다관점의 약속은 완전히 이행되지 않았다—많은 헤드가 중복 작업을 수행하며, 계산 자원을 소비하면서도 유효 정보를 증가시키지 않는다.

3.3.3 집계 병목 (Aggregation Bottleneck)

concat + linear projection은 H개 헤드의 출력을 원래 차원으로 다시 압축한다. 서로 다른 헤드가 각각 서로 다른 방향을 가리키는 “최적 후보”를 발견했을 때, 선형 투영은 가중 평균만을 생성할 수 있다—그리고 가중 평균은 어떤 헤드의 최적해도 아니다. 행 확률 행렬(row-stochastic matrix)의 혼합은 출력의 유효 차원을 증가시킬 수 없으며, 통상 감소시킬 수만 있다.

3.4 출력 계층: 정보 소멸기

3.4.1 추론 시 정보 폐기

다중 헤드 어텐션이 d_model 차원 공간에서 구축한 완전한 확률 경관—어휘 내 수만 후보의 확률 관계, 상대적 순위, 조건부 의존—이 argmax 순간에 모두 하나의 정수(토큰 ID)로 붕괴한다. 2560차원 FP16 상태 벡터(~40,960비트)가 산출하는 출력은 겨우 ~15비트이다.

3.4.2 훈련 시 기울기 소멸

Godey 등(2026년 3월, “Lost in Backpropagation”)은 V차원 기울기를 rank-D 선형 계층(D ≪ V)을 통해 역전파하면 불가피한 압축이 발생함을 증명했다—기울기 노름의 95-99%가 출력 계층에 의해 억제되어, 극도로 차선적인 갱신 방향을 생성한다. 이 기울기 압축은 사소한 패턴조차 학습 불가능하게 만들며, 어휘 규모가 커질수록 악화된다.

3.4.3 자기강화 사순환

3.5 “가치 있는 잉여” 가설 (본 논문의 독창적 기여)

3.5.1 행렬 계산이 유일해에 정렬될 때 방출되는 잉여

행렬 계산이 (seq_len, V)의 logits 행렬을 생성할 때, 마지막 행만이 사용된다. 마지막 행에서도 argmax에 대응하는 하나의 확률만이 출력 토큰으로 물질화된다. 어휘 내 수만 토큰의 확률 분포—”다음에 무엇이 올 수 있는가”에 대한 모델의 완전한 이해를 인코딩한—가 argmax 순간에 모두 비가역적으로 폐기된다.

3.5.2 Next Token의 배척적 본질

argmax는 순수한 피크 선택기이다—확률론의 피크값 이론만을 적용하며, 잉여의 합리성은 고려하지 않는다. “2위와 1위의 격차가 얼마나 작은지”, “2위가 특정 조건에서 실제로 더 우월한지”—이러한 정보는 완전히 무시된다. Next Token 메커니즘의 본질은 잉여의 합리성을 고려하지 않는 배척적 제거이다.

3.5.3 Softmax 병목의 “argmax 불가 클래스”

Yang 등(ICLR 2018)이 최초로 Softmax Bottleneck을 제기하여, 단일 은닉 상태가 모델 크기나 훈련 데이터 양에 관계없이 모든 확률 분포를 생성할 수 없음을 증명했다. 후속 연구는 “argmax 불가 클래스(unargmaxable classes)”의 존재를 더 나아가 증명했다—입력이 무엇이든 특정한 완전히 합리적인 출력이 결코 argmax 결과가 될 수 없다. 2026년 ICLR 논문은 이 저차원성이 더 긴 토큰 시퀀스에서도 지속됨을 추가로 증명했다.

3.5.4 독창성 선언

출력 계층의 정보 폐기는 이미 정량화되었다(Lost in Backpropagation, 2026.03). 다중 헤드 잉여에 대한 실증 증거가 있다(2024-2025). Softmax 표현력 병목은 고전 이론이다(Yang 2017). Next-token 계획 결함에 대한 분석이 존재한다(Pitfalls of NTP, 2024). 그러나 네 가지를 폐쇄 인과 순환으로 연결—정보 생산자(다중 헤드)와 정보 소비자(argmax) 사이의 구조적 대립, 그리고 이 대립이 역전파의 신호 손실을 통해 자기강화되는 메커니즘—은 2026년 6월 25일 현재 학술 문헌에서 완전하게 제시된 바 없다.

3.6 본 장 소결

제4장 제2계층: 시스템 증폭 — Agent 아키텍처의 연쇄 고장

4.1 Loop Agent의 품질 절벽

4.1.1 실증 측정

2026년 초 프로덕션 환경 측정(Crosley, 2026)이 30회 Loop Agent 반복의 퇴화 곡선을 기록했다: 0-30분 정밀 편집, 올바른 교차 파일 참조; 30-60분 간헐적 import 누락, 복구 가능; 60-90분 단일 파일 터널 비전에 빠짐, 아키텍처 컨텍스트 상실; 90분 이후 반복 시도, 초기 결정과 모순. 이 “품질 절벽”은 과제 유형과 무관했다—교차 파일 상태를 필요로 하는 과제가 더 심하게 피해를 입었다.

4.1.2 메커니즘 설명

긴 ReAct 체인에서, 원래 목표가 수십 라운드의 대화 이전에 묻힌다—컨텍스트 윈도우 내에서 어텐션이 가장 약한 구간에 정확히 위치한다. 이것은 Lost in the Middle이 시간 차원에 투영된 것이다. 현재의 엔지니어링 수정은 “스크래치패드 모드”—Agent가 매 라운드 말미에 목표와 진행 상황을 컨텍스트 끝에 다시 기재(todo.md 등)하여, 계획을 어텐션이 가장 강한 구간으로 밀어 넣는 것이다.

4.2 다중 Agent 시스템의 곱셈적 증폭

4.2.1 연쇄 오류 전파

Agent A의 퇴화된 출력이 “사실”로서 Agent B의 컨텍스트에 진입하고, Agent B의 결론이 Agent C로 전파되며, 각 홉에서 원래 오류를 증폭한다. MSR과 Salesforce의 2025년 5월 공동 연구는 200,000+개의 시뮬레이션 대화와 15개 LLM을 포함하며, 과제가 다수 턴에 분산될 때 39%의 성능 하락을 보고했다.

4.2.2 컨텍스트 오염

DACS 연구(Patel, 2026)는 다중 Agent 컨텍스트 경쟁을 정밀하게 정량화했다: N개의 Agent가 하나의 플랫 컨텍스트 윈도우를 공유할 때, 오케스트레이터의 의사결정 정확도가 N=3의 60%에서 N=10의 21%로 붕괴한다. 각 Agent의 과제 상태, 부분 출력, 미결 질문이 다른 Agent의 상호작용을 오염시킨다.

4.3 엔지니어링 우회 방안의 정보이론적 한계

4.3.1 데이터 처리 부등식(DPI)의 엄격한 제약

데이터 처리 부등식은 모든 비가역적 전처리가 접근 가능한 상호정보를 엄격하게 제한함을 규정한다. 전통적 DPI는 엄격히 수축적이며, 역DPI 부등식은 고도로 제한된 시나리오(통상 유니터리 채널)에서만 성립할 수 있다. 보완 방안이 softmax 라우팅 이후의 내부 표현만을 조작할 수 있을 때—압축 요약, 어텐션 재분배, 잠재 상태 전달—DPI가 엄격히 성립하며, 정보는 복구될 수 없다. 그러나 시스템이 원본 증거의 독립적 사본을 외부에 보유하고(원문 텍스트, 소스 코드, 데이터베이스 스냅숏, 센서 로그), 재검색을 통해 새로운 컨텍스트 윈도우에 주입한다면, 손상된 표현을 복구하는 것이 아니라 손상 체인을 우회하는 것이다. 이 우회 능력은 외부 저장소의 충실도와 검색의 정확도에 달려 있지만—검색 결과는 여전히 동일한 softmax 어텐션 메커니즘을 통해 처리되어야 하므로, 우회는 부분적이지 완전하지 않다.

4.3.2 압축/요약의 무언(無言)의 실패

모델은 더 이상 답을 포함하지 않는 자료에 대해 자신 있게 응답한다—환각, 미묘한 오류, 이전 대화와의 모순. 인터페이스는 정상으로 보인다; 평가만이 퇴화를 포착할 수 있다. Hermes와 Claude Code의 압축 시스템 모두 서사적 연속성을 유지할 수 있지만, “양쪽 모두 압축 과정에서 정밀한 값 선호와 강성 제약을 무언으로 접는다”(Mem0, 2026).

4.3.3 외부 저장소의 이중 DPI 수축

외부 저장소(벡터 데이터베이스, 지식 그래프, 파일 시스템)는 겉보기에 컨텍스트 윈도우 한계를 우회하지만, 그 정보 흐름 경로는 두 번의 DPI 수축을 포함한다. 첫 번째 수축은 저장 측에서 발생한다: Agent가 정보를 외부 저장소에 기록할 때, 기록되는 것은 이미 softmax 어텐션 라우팅을 거친 내부 표현—요약, 추출된 사실, 형식화된 중간 결론—이지, 원래의 입력 신호가 아니다. 이 저장된 정보는 이미 한 차례의 어텐션 편향 오염을 경험한 것이다. 두 번째 수축은 검색 측에서 발생한다: 외부 저장소의 정보가 컨텍스트 윈도우에 재주입될 때, 동일한 편향된 softmax 어텐션 메커니즘을 통해 다시 처리되어야 한다. 두 수축의 연쇄 결과: 외부 저장소 방안의 정보 충실도는 단일이 아닌 두 번의 DPI 연산의 곱에 의해 한정된다. 예외가 존재하지만 제한적이다—외부 저장소가 모델의 처리를 전혀 거치지 않은 원본 텍스트(사용자 업로드 원문, 소스 코드, 센서 로그 등)를 보존한다면, 첫 번째 수축은 우회되고, 정보 충실도는 두 번째 수축(재검색 후의 어텐션 처리)에 의해서만 한정된다.

4.3.4 서브 Agent 위임의 재귀적 역설

서브 Agent 위임의 설계 의도는 하나의 다봉 문제를 복수의 단봉 하위 문제로 분해하는 것이다—각 서브 Agent가 제한된 컨텍스트 내에서 하나의 집중 과제만 처리한 후 간결한 결과 요약을 반환한다. 이 전략은 표면적으로 어텐션의 다봉 도전을 복수의 단봉 문제로 전환한다. 그러나 재귀적 역설이 두 계층에서 부상한다. 첫째, 서브 Agent의 출력 요약은 자체 softmax 라우팅을 거친 유손실 표현이다—핵심적 세부 사항, 조건부 한정, 불확실성 신호가 서브 Agent의 argmax 출력 과정에서 무언으로 폐기될 수 있다. 주 Agent가 수신하는 것은 하위 문제의 완전한 해가 아니라 그 해의 유손실 투영이다. 둘째, 주 Agent(오케스트레이터)가 복수의 서브 Agent 출력을 동시에 조율해야 하는데—이 조율 과제 자체가 다봉 문제이다: 주 Agent의 어텐션이 N개 서브 Agent의 서로 다른 신호에 동시에 주목하여 통합 결정을 내려야 한다. DACS 연구는 이 퇴화를 정밀하게 측정했다: 오케스트레이터의 의사결정 정확도가 N=3 Agent 시 60%에서 N=10 Agent 시 21%로 붕괴—이 붕괴 곡선은 다중 바늘 검색의 감쇄 패턴과 놀라울 정도로 일치한다. 이것은 무한 재귀를 형성한다: 각 계층의 “수정”이 동일하게 결함 있는 기저 메커니즘에 의존한다. 서브 Agent 위임은 다봉 문제를 제거한 것이 아니라, “긴 컨텍스트에서 복수의 바늘 찾기”에서 “복수의 서브 Agent 출력 간 다초점 통합”으로 이전한 것이다—문제의 수학적 구조는 변하지 않았고, 용기만 바뀌었다.

4.4 산업 현황 평가

4.4.1 실패율과 생존 전략

Gartner는 2027년까지 Agent 프로젝트의 40% 이상이 폐기될 것으로 예측한다—비용 상승, 불명확한 사업 가치, 불충분한 위험 통제 때문이다. 2025년 기업 AI 배포 분석에서 Agent 실패의 65%가 컨텍스트 표류 또는 메모리 상실에 기인함이 발견되었다. 다중 턴 대화는 단일 턴 상호작용 대비 최대 35%의 성능 퇴화를 보인다.

4.4.2 현재 생존 전략

2026년 프로덕션 환경에서 생존하는 Agent는 세 가지 속성을 공유한다: 범위 한정(단일 도메인, 정의된 도구 집합, 범위 외 과제의 명시적 거부); 관찰 가능한 행동(모든 도구 호출 기록, 모든 결정 지점 추적 가능); 복구 가능한 실패(불가피한 실패가 복구 가능). 산업의 철학: 블랙박스 본질을 인정하고, 확정적 시스템으로 블랙박스 출력의 경계를 제약한다—자율성을 포기하는 대가로 제어 가능성을 얻는다.

4.5 본 장 소결

제5장 제3계층: 물리 세계 매핑 — 오류 허용 계층 제거 후의 전면 노출

5.1 인간 지각의 정보 압축 파이프라인

5.1.1 감각 입력 대역폭

인간 감각 시스템은 환경에서 초당 약 10⁹ bit/s(10억 비트/초)를 수집하며, 시각 시스템이 약 10⁸ bit/s, 청각 시스템이 약 10⁵ bit/s를 기여한다.

5.1.2 뇌 대역폭 병목

Caltech 연구자 Zheng과 Meister(2024, Neuron)는 인간 사고 속도가 약 10 bit/s임을 확인했다. 압축비: 1:100,000,000. “뇌에 쏟아지는 1억 비트의 감각 정보 중 우리가 의식적으로 처리하는 것은 단 1비트이다.” 인간은 동시에 한 가지만 생각할 수 있다—감각 시스템의 천로 병렬 처리와는 다르다.

5.1.3 언어 인코딩의 추가 손실

독서 속도는 약 300단어/분이며, 약 50 bit/s로 환산된다. 영문 텍스트는 잉여도(redundancy)에 기반하여 50-75% 추가 압축이 가능하다. 서면 언어는 인간 신호 중 가장 정보 밀도가 낮은 형태이다—”언어 압축의 유손실 본질은 서면 언어에서 가장 두드러진다.”

표 2: 물리 세계에서 LLM 출력까지의 정보 압축 파이프라인 (출처: Zheng & Meister 2024, Neuron)

그러나 여기서 결정적인 정보이론적 구분이 필요하다. 위의 ~10⁸:1 대역폭 격차가 측정하는 것은 Shannon 의미의 원시 데이터 전송률—감각 채널이 초당 몇 비트의 원시 물리 신호를 수집하는지, 그리고 의식이 초당 몇 비트를 처리하는지이다. 그러나 문자는 물리 신호의 선형 유손실 압축이 아니다—문자는 물리 규칙의 고도로 추상적인 추출이다. Shannon 엔트로피는 출력의 통계적 특성을 측정하고, 콜모고로프 복잡성은 생성 과정의 구조를 측정한다: 프로그램, 메커니즘, 인과관계. 양자는 근본적으로 다른 것을 측정한다.

F=ma라는 하나의 방정식은 Shannon 의미에서 수십 비트에 불과하지만, 공유된 수학-물리 해석기(미적분 프레임워크, 좌표계 관례, 힘 모델, 측정 단위, 초기 조건)의 전제 하에, 극히 높은 압축률로 고전역학의 전체 운동 규칙을 인코딩한다—이것이 바로 콜모고로프 복잡성의 본질이다: 프로그램 길이는 극히 짧지만, 범용 튜링 머신(즉 공유 해석기)이 실행해야 한다. 문자는 규칙 수준 정보(물리 법칙, 인과관계, 논리적 제약)의 차원에서 극히 높은 압축 효율을 보이며, 비트율이 시사하는 수준을 훨씬 상회한다. 문자의 진정한 약점은 상태 수준 정보—연속 공간 좌표, 실시간 역학 파라미터, 센서 판독값, 기하학적 토폴로지, 재료 속성—에 있다. 이러한 연속 물리량은 이산 기호로 효율적으로 인코딩될 수 없다. 10⁸ 규모의 대역폭 격차가 진정으로 발생하는 차원은 규칙 수준 정보가 아니라 상태 수준 정보이다.

5.2 문자 벡터 공간의 비완전 매핑

5.2.1 문자가 기록하지 않은 물리 정보

인간 문자는 물리 세계의 상태 수준 정보를 완전하게 기록하지 않았다. 문자 벡터 공간은 물리 세계의 일대일 매핑이 아니며—3D 공간 구조, 물리 동역학(힘, 가속도, 마찰), 기하학적 제약, 재료 속성, 시간 연속성 등 연속 상태 변수를 체계적으로 결여하고 있다. 문자는 “중력 가속도는 9.8 m/s²이다”라는 규칙을 정확히 표현할 수 있지만, “이 순간 탁자 위의 이 컵이 로봇 팔 엔드이펙터에 대해 갖는 6자유도 자세”라는 상태를 효율적으로 인코딩할 수 없다.

5.2.2 벡터 공간의 “환각적 합리성”

벡터 공간 기반 추론의 가장 큰 문제는 물리 세계를 올바르게 매핑할 수 없다는 것이다. 문자 정보 흐름 내에서 LLM의 “합리성”은 본질적으로 문자에 대한 인간 판단력의 풍부한 잉여와 오류 허용에 기반한다—인간 독자가 문자에서 결여된 물리 정보를 자동으로 보완하고, 부정확한 표현을 자동으로 교정하며, 불합리한 세부 사항을 자동으로 무시한다. 이 오류 허용은 인간 측의 것이지, 모델 측의 것이 아니다.

5.3 오류 허용 공간이 압축되는 임계적 전환

5.3.1 문자 출력 → 인간 독자 (높은 오류 허용)

LLM의 출력이 인간 독자에 의해 수신될 때, 시스템은 극히 높은 오류 허용의 정보 환경에서 작동한다. 인간 독자는 자동으로 다층 오류 수정을 수행한다: 의미 수준에서 독자가 자신의 세계 지식으로 문자에 명시적으로 표현되지 않은 물리 관계를 보완하고(“공이 탁자에서 굴러 떨어졌다”—독자가 자동으로 중력, 탁자 가장자리, 포물선 궤적 등 문자에 인코딩되지 않은 물리 정보를 보완), 논리 수준에서 독자가 불합리한 세부 사항을 식별하고 무시하며(“태양이 서쪽에서 뜬다”를 수용이 아닌 오류로 자동 표시), 서사 수준에서 독자가 불완전한 정보에서 일관성을 구축한다(단락 간 정보 도약이 존재하더라도 독자가 독자적으로 전환 논리를 추론). 이 오류 허용 대역폭은 LLM의 출력이 정보 손상을 포함하더라도—핵심 조건 누락, 인과 방향 혼동, 확률값 편차—여전히 “쓸 만하게” 만든다. LLM 문자 출력의 수용성은 본질적으로 수신단(인간)의 오류 허용 능력이 송신단(모델)의 오류율을 크게 초과하는 데 의존한다. 이 비대칭성이 LLM이 문자 영역에서 성공한 은닉 인프라스트럭처이다.

5.3.2 물리 동작 출력 → 물리 법칙 (영(零) 오류 허용)

LLM의 출력이 물리 세계에 정렬해야 할 때—AIGC 이미지·영상 생성, 구현 지능의 로봇 제어, 자율주행 계획—오류 허용 공간이 급격히 압축된다. 물리 법칙은 오류를 허용하지 않는다. 로봇 파지 동작이 “대략 맞다”는 것은 파지 실패를 의미한다—손가락 자세 편차가 밀리미터 수준을 초과하면 미끄러짐이나 충돌로 이어진다. 내비게이션 경로가 “대략 맞다”는 것은 충돌을 의미한다—경로 계획 오차는 물리 세계에 의해 “선의로 해석”되지 않는다. 이미지 생성이 “대략 맞다”는 것은 인간이 즉시 오류를 식별할 수 있음을 의미한다—여분의 손가락, 원근 관계를 위반하는 그림자, 중력을 거스르는 액체 흐름. 문자 영역에서 LLM의 출력은 인간의 오류 허용으로 생존한다; 물리 영역에서 수신단이 “오류 허용 능력이 있는 인간 독자”에서 “영 오류 허용의 물리 법칙”으로 전환되면, 기저의 모든 정보 손상—softmax의 어텐션 편향, argmax의 정보 붕괴, 다중 턴의 DPI 연쇄—이 동시에, 완전하게, 차폐 불가능하게 노출된다. LLM 출력이 물리 세계 행동과 벡터 공간 추론으로 정합할 수 없는 문제가 대량으로 현현하는 것은 모델이 약해졌기 때문이 아니라, 손상을 차폐하던 오류 허용 계층이 제거되었기 때문이다.

5.3.3 실증 데이터

내비게이션 Agent가 존재하지 않는 경로를 환각하고, 조작 계획기가 물리적으로 불가능한 파지를 제안하며, 구현 시스템이 물체 거리를 자릿수 단위로 오판한다(Spatial Intelligence Survey, 2026). LLM의 언어 사전 지식이 시각적 증거를 덮어쓴다—훈련 데이터 내 허위 상관이 환각을 유발한다(HEAL, 2026). 생성 모델이 미래 비디오 프레임을 예측하는 데 사용될 때 “결과가 흐릿해진다—실제로 무슨 일이 일어났는지 모르기 때문이다”(LeCun).

5.4 MLLM + WM: 보상이지 제거가 아님

5.4.1 존재론적 모순의 연속 스펙트럼과 임계 효과

존재론적 모순은 이진 스위치(유/무)가 아니라 연속 스펙트럼이다. 모순의 관측 가능한 손상은 세 변수의 곱에 달려 있다: 입력 정보 밀도 × 출력단 argmax 손상률 × 과제의 충실도 요구 수준. 이 곱이 시스템의 전체 충실도를 과제의 사용 가능 임계값 아래로 떨어뜨릴 때, 모순의 증상이 표면적으로 노출된다.

순수 텍스트 입력(~50 bit/s의 Shannon 대역폭, 상태 수준 물리 정보 거의 전부 결여) × argmax 손상 × 물리 과제 정밀도 요구 → 사용 가능 임계값을 크게 밑도는 수준. 이것이 구현 지능이 반복적으로 실패하는 정보이론적 근본 원인이다.

Emu3(Nature, 2026)의 성공은 이 프레임워크를 부정하는 것이 아니라 정확히 검증한다: Emu3는 순수 텍스트 LLM과 완전히 동일한 Softmax + Argmax 파이프라인을 사용한다—decoder-only Transformer, 85억 파라미터, 표준 next-token prediction. 그러나 시각, 비디오, 동작 신호를 토큰화하여 직접 섭취함으로써, 입력단의 정보 밀도를 수 자릿수 향상시켰다. 시각 토큰이 운반하는 것은 문자의 기호적 정보가 아니라 공간 구조, 기하학적 관계, 재질 텍스처 등 상태 수준 물리 정보이다. 출력단의 argmax 손상이 여전히 존재하더라도, 입력단의 정보 이득이 시스템의 전체 충실도를 물리 과제의 사용 가능 임계값 이상으로 유지시킨다.

5.4.2 세계 모델의 물리적 제약 재건

세계 모델은 물리 기반 환경 시뮬레이션을 통해 인간 뇌가 폐기한 물리적 제약을 재건한다—제거된 인간 오류 허용 기능의 대체 계층으로 기능한다. MLLM이 과제 계획을 생성하고, WM이 실행 가능성을 검증하여, 반복적 정련을 가능하게 한다. LeCun의 JEPA는 Transformer 프레임워크 자체를 완전히 우회하려 시도한다: 텍스트나 픽셀을 생성하지 않고, 미래 상태의 추상적 표현을 학습하고 예측한다.

5.4.3 미해결 질문

문자는 상태 수준 정보 차원에서 물리 세계와 자릿수 규모의 대역폭 격차를 보인다—현재의 브리징 방법이 이 격차를 충분히 보상할 수 있는가? 입력단 정보 밀도의 향상은 체감 효과를 보이는가 아니면 선형 효과를 보이는가? 임계값 이상의 시스템이 과제 복잡도 증가에 따라 재차 임계값 아래로 추락하는가? 연속 벡터 공간 vs 이산 토큰: 어떤 표현이 물리 세계의 상태 수준 정보에 더 적합한가? 이들은 여전히 미해결 질문이다.

5.5 본 장 소결

제6장 통합 인과 사슬과 이론적 종합

6.1 4계층 고장 전파 체인

6.2 독립 문제가 아니라 동원(同源) 문제

환각 ← 어텐션이 컨텍스트 증거가 아닌 파라미터화된 지식에 확률을 배분. 추론 퇴화 ← TC⁰ 회로 복잡도 한계 + 긴 추론 체인에서 초기 단계 정보 상실. Agent 비제어성 ← 다중 턴 어텐션 손상의 연쇄 증폭. 구현 AI 실패 ← 문자 벡터 공간의 물리적 접지 결여. 대량의 핵심 실패 모드가 동일한 정보이론적 구조를 공유하며, 어텐션 메커니즘의 정보 라우팅 결함에 수렴한다.

6.3 제1 구조적 제약: 공간 라우팅 모순

Softmax 어텐션은 표준 decoder-only autoregressive Transformer에서 가장 핵심적인 교차 토큰 정보 라우팅 결정 지점이다. MLP, 잔차 연결, LayerNorm, MoE 라우팅도 정보 가공에 참여하지만, softmax attention은 교차 토큰 선택적 정보 라우팅을 담당하는 유일한 메커니즘이다—인과 마스크가 이 라우팅의 방향성을 더욱 제한하여, 각 토큰이 선행 위치에만 주목할 수 있게 한다. 이 라우터 자체에 구조적 편향이 있을 때(제로섬 경쟁, 위치 사전 지식, 길이 증가에 따라 최대 엔트로피로 수렴하는 엔트로피), 그것이 생성하는 정보 흐름 오류는 국소적이지 않다—전체 하류 계산 그래프를 오염시킨다. 어텐션의 정보 라우팅 결함은 다수의 블랙박스 문제를 관통하는 핵심 구조적 요인이다—환각, 추론 실패, 장문 컨텍스트 퇴화, Agent 비제어성은, 정보이론적 관점에서 보면, 동일한 마르코프 체인 상의 데이터 처리 부등식 연쇄 수축의 서로 다른 발현이다.

6.4 제2 구조적 제약: 자기회귀 시간 방향성

Transformer 아키텍처는 어텐션 라우팅과 독립적인 두 번째 구조적 제한을 보유한다: 자기회귀 생성의 단방향 시간성. Ye 등(ICLR 2025, “Beyond Autoregression”)은 자기회귀 모델이 복잡한 추론과 계획에서 근본적 한계를 가짐을 명시적으로 지적했다—이산 확산을 대안 패러다임으로 논증했다. Pachet & Roy(2025, arXiv:2604.07855)는 더 나아가 증명했다: 간결하게 표현된 자기회귀 모델에 대해, 정확한 문장 수준 최대 사후 확률(MAP) 디코딩이 NP-난해임을—이 난해성은 1차 마르코프 체인의 단항 제약과 거리 제약 하에서도 지속된다. 샘플링 측에서는, 고정 길이 종료 이벤트와 같은 정규 제약에 대해서도, 정확한 조건부 정규화가 #P-난해이다. 이는 자기회귀 모델이 제공하는 것이 next-token 확률에 대한 국소적 접근이지, 전역적 패턴 찾기나 정밀한 조건부 제약 하의 처리 가능한 범용 프로시저가 아님을 의미한다. 좌→우의 조건부 확률 단방향 생성은 모델이 필연적으로 전역 계획 및 역추적 오류 수정 능력을 결여함을 보장한다: 과거만 볼 수 있고, 이미 생성된 토큰을 수정할 수 없으며, 복수의 전역 방안 간에 정확한 최적 선택을 할 수 없다. 이 제한은 어텐션 메커니즘과 독립적이다—softmax를 완벽하게 교체하고 argmax 붕괴를 제거하더라도, 자기회귀 제약은 독립적으로 존속할 것이다.

6.5 2차원 아키텍처 제한 모델

위의 분석을 종합하면, Transformer의 아키텍처 제한은 개념적으로 분리 가능한 두 차원으로 조직할 수 있다:

두 차원은 개념적으로 분리 가능하고, 메커니즘적으로 상호 결합되며, 엔지니어링적으로 공동 최적화가 필요하다. 본 논문은 첫 번째 차원의 완전한 이론 사슬을 상세히 처리하며; 두 번째 차원의 존재는 프레임워크의 알려진 경계로서 표정한다. 개념적 분리 가능성은 다음으로 입증된다: 공간 차원의 문제(softmax 제로섬 경쟁으로 인한 다봉 충실도 감쇄)는 비자기회귀 아키텍처(BERT 등)에서도 독립적으로 존재할 수 있고; 시간 차원의 문제(좌→우 생성의 전역 계획 부재)는 softmax를 교체하더라도 독립적으로 존속한다. 그러나 실제 decoder-only 모델에서는 양자가 결합된다—Chain-of-Thought가 시간 전개(토큰 시퀀스 길이 증가)와 공간 라우팅(내부 후보 정보를 컨텍스트로 외부화하여 어텐션 배분 변경)을 동시에 변경하고; Multi-Token Prediction이 출력단의 정보 붕괴량과 단거리 시간 의존 구조를 동시에 영향을 주며; Diffusion LM이 두 차원을 동시에 공격한다(argmax 제거와 단방향 생성 제거를 동시에). 후속 작업에서 양자의 상호작용 항을 규명해야 한다—어떤 과제 조건에서 어느 쪽이 지배적 병목인지, 그리고 양자가 상호 증폭하는지 여부.

제7장 현재 해결책 전경과 경로 평가

7.1 입력단 공격: 어텐션 배분 수리

희소 어텐션의 Softmax 대체: α-entmax가 Shannon 엔트로피를 Tsallis 엔트로피로 대체하여, 진정한 희소 분포를 생성한다—무관한 토큰에 정확히 0의 확률을 부여. ASEntmax(ICLR 2026)는 256배 길이 외삽에서 96.4%의 정확도를 유지(softmax는 80.2%). Elastic-Softmax는 표준 softmax 뒤에 ReLU 필터를 추가한다.

위치 인코딩 개선: RoPE → YaRN → LongRoPE → HoPE → 3D-RPE → Layer-Specific Scaling → TAPE. 핵심 방향은 위치 인코딩이 거리 감쇄를 강제하지 않도록 하는 것이다.

하이브리드 아키텍처: SSM/Mamba + 소량 어텐션 레이어. Jamba(AI21, 1:7 어텐션:Mamba 비율, 256K 컨텍스트, 3배 처리량); Nemotron-H(NVIDIA, 92% 레이어를 Mamba2로 교체); Qwen3-Next(Gated DeltaNet 3:1 선형:풀 어텐션 비).

7.2 출력단 공격: argmax 정보 소멸 경감

Multi-Token Prediction (경로 A: 감상): 한 번에 복수 토큰을 출력하여, 각 argmax의 정보 붕괴량을 줄인다. DeepSeek-V3, Qwen3이 프로덕션에서 채택. ICLR 2026의 Parallel Token Prediction이 토큰 간 독립성 가정을 제거했다.

Latent Reasoning (경로 B: 연명): 고차원 내부 공간에서 추가 계산 단계를 수행하여, 이산 토큰으로의 붕괴를 지연시킨다. 2560차원 FP16 상태 벡터 vs 15 bit/token의 언어 출력. Coconut은 명시적 추론 토큰을 연속적 잠재 상태로 점진적 대체; Quiet-STaR은 각 토큰 위치에서 학습 가능한 “사고” 토큰을 훈련.

Diffusion LM / JEPA (경로 C: 근치): 토큰화와 argmax를 우회하여, 연속 벡터 공간에서 직접 생성. LLaDA—최초의 8B 파라미터 확산 LLM, Llama3-8B에 필적하며 최초로 “반전 저주(reversal curse)”를 해결. JEPA—미래 상태의 추상적 표현을 학습하고 예측. 프로덕션에서 가장 멀지만 가장 근본적이다.

7.3 물리 세계단 공격: 프런트엔드 정보 손실 복구

MLLM은 시각, 오디오, 촉각 등 비문자 신호를 직접 섭취하여, 인간 문자 압축 병목을 우회한다. WM은 물리 법칙을 시뮬레이션하여, “현실 검증 계층”을 제공함으로써 제거된 인간 오류 허용 기능을 대체한다. Emu3(Nature, 2026)는 다중모달 통합에서 Next Token 패러다임의 최대 잠재력을 시연했으며; PaLM-E는 언어와 센서 입력의 통합을 시연했다.

7.4 경로 비교 및 평가

표 3: 2026년 프런티어 해결책과 본 논문의 2차원 아키텍처 제한 프레임워크의 매핑 관계 (출처: 산업 벤치마크 편찬, 현상적 근거로 인용)

제8장 논의

8.1 독창성 위치 설정

본 논문의 핵심 발견—다중 헤드 어텐션과 Next Token 사이의 존재론적 대립, “가치 있는 잉여” 가설, 4계층 인과 사슬의 완전한 연결—은 기존 문헌에 단편적 형태로 존재하지만 통합되지 않았다. 출력 계층 정보 폐기는 이미 정량화되었고(Lost in Backpropagation, 2026.03), 다중 헤드 잉여에 대한 실증이 있으며(2024-2025), Softmax 표현력 병목은 고전 이론이다(Yang 2017). 그러나 네 가지를 폐쇄 인과 순환으로 연결하는 통합 프레임워크는 기존 문헌에서 발견되지 않았다.

8.2 한계

본 논문의 프레임워크는 이론적이며, 논리적 추론과 문헌 종합에 기반하며, 일부 추론은 추가 실증 검증이 필요하다. 4계층 인과 사슬에서 각 계층의 상대적 기여 가중치는 정량화되지 않았다. 대안 아키텍처(Diffusion LM, JEPA)의 실제 효과는 여전히 평가 중이다. “가치 있는 잉여”의 정보 함량은 보다 정밀한 정보이론적 측정이 필요하다. 공간 라우팅 모순과 자기회귀 시간 방향성(6.3-6.5절 참조) 사이의 상호작용 효과—양자가 상호 증폭하는지, 어떤 과제 조건에서 어느 쪽이 지배적인지—는 추가적 이론 및 실증 작업이 필요하다.

계산 열역학 제약—본 프레임워크가 다루지 않은 제3차원: 본 논문은 정보 충실도 차원의 분석에 집중하며, 정보 처리의 에너지 비용 차원은 논의하지 않는다. 자기회귀 생성의 “유손실 붕괴”는 단순히 정보이론적 결함만이 아니다—주어진 에너지 예산 제약 하에서 물리 우주 내 지능체의 파레토 최적 절충일 수 있다. 인간 뇌가 고차원 전역 계획 능력(확산 모델의 반복적 전역 최적화와 유사)을 보유하고 있음에도 불구하고, 일상적 언어 출력은 저에너지의 자기회귀적 휴리스틱 직관 채널에 고도로 의존한다—이는 자기회귀의 “결함”이 순수한 설계 결함이 아니라, 열역학적 엔트로피 증가에 대항하면서 저에너지 실시간 상호작용을 달성하기 위한 진화적 최적화일 수 있음을 시사한다. 전역 계획 모델(확산 모델 등)은 각 생성 단계에서 전차원 반복 계산을 요구하며, 시간 복잡도 O(T·N²)(T는 노이즈 제거 단계 수)로 정보이론적으로 콜모고로프 복잡성을 완벽하게 보존하지만, 물리적 계산 에너지 소비에서 생물 지능의 최소 자유 에너지 원리를 위반할 수 있다. 완전한 아키텍처 제한 이론은 세 차원—공간 라우팅 충실도, 시간 생성 방향성, 계산 에너지 효율—이 필요할 수 있으며, 본 논문은 처음 두 차원을 상세히 처리하고, 세 번째 차원의 표정은 후속 작업에 맡긴다. 이는 다음을 의미한다: 정보 충실도에서 완벽한 대안 아키텍처를 찾더라도, 그 계산 에너지 비용이 실시간 상호작용에서의 배포를 불가능하게 한다면, 자기회귀 패러다임은 “충분히 좋고 충분히 빠른” 파레토 특성으로 인해 지속될 수 있다—인간이 일상 대화에서 정밀 추론이 아닌 휴리스틱 직관을 선택하듯이.

8.3 아키텍처 설계에 대한 시사점

decoder-only Transformer 내부에서 softmax를 “고치려” 해서는 안 된다. 가장 유망한 방향은 어텐션을 그것이 잘하는 범위—단봉, 단거리, 고정밀 검색—로 제약하고, “다봉” 수요는 자연적으로 다봉을 지원하는 선형 상태 메커니즘(SSM/Mamba)에 위임하는 것이다. 어텐션이 “유일한 전부”에서 “결정적 순간의 정밀 도구”로 전환된다. 본 논문의 2차원 프레임워크는 더 나아가 시사한다: 공간 차원만 공격(softmax 교체)하는 것으로는 불충분하고, 시간 차원만 공격(자기회귀 교체)하는 것으로도 불충분하다—두 차원에서 동시에 손상을 줄여야 한다. Diffusion LM이 이론적으로 “근치” 경로로 표기되는 이유는 정확히 두 차원을 동시에 공격하기 때문이다. 그러나 8.2절에서 논의한 바와 같이, 계산 열역학 제약이 순수 확산 방식을 실시간 상호작용 시나리오에서 배포 불가능하게 만들 수 있다—따라서 하이브리드 아키텍처(전역 계획이 필요할 때 반복 최적화를 활성화하고, 일상 생성 시 빠른 자기회귀를 사용)가 파레토 최적의 엔지니어링 해법일 수 있다. 본 논문의 프레임워크는 예측한다: Chain-of-Thought의 효과에는 정보이론적 천장이 있다—CoT의 각 단계가 여전히 softmax 병목을 통과하기 때문이며, DPI에 따르면 다단계 추론의 누적 충실도는 각 단계 충실도의 곱에 의해 한정된다.

8.4 Agent 엔지니어링에 대한 시사점

기저 아키텍처 모순이 해결되기 전까지, Agent 시스템의 신뢰성에는 각 턴의 어텐션 충실도에 의해 결정되는 정보이론적 천장이 존재한다. 현재 최선의 실무(DAG 워크플로, human-in-the-loop, 범위 한정, 상태 외부화)는 올바르지만 유계인 대응이다—유계 시스템의 결과를 관리하는 것이지, 무계 신뢰성으로 가는 경로가 아니다. 외부 상태 저장소는 DPI의 정보 손상 체인을 부분적으로 우회할 수 있다—저장된 것이 모델 처리를 거치지 않은 원본 증거(소스 코드, 데이터베이스 스냅숏, 센서 로그)일 때, 검색은 손상 체인에 새로운 무손실 신호원을 주입하는 것과 동등하다—그러나 검색 결과는 여전히 동일한 softmax 어텐션 메커니즘을 통해 처리되어야 하므로, 우회는 부분적이다. 본 논문의 2차원 프레임워크는 Agent 엔지니어링에 새로운 진단 차원을 제공한다: Agent의 다중 턴 퇴화는 공간 차원의 어텐션 손상 연쇄뿐 아니라 시간 차원의 자기회귀 계획 결함에서도 비롯된다—Agent의 각 단계 결정은 국소 조건부 확률 생성이며, 전역 방안 공간에서 최적 경로를 탐색할 수 있는 자연적 능력이 없다. 이것은 Agent가 장기 계획이 필요한 과제(다단계 프로젝트 관리, 복잡한 코드 리팩토링 등)에서 국소 반응이 필요한 과제(단일 단계 도구 호출, 단순 질의응답 등)보다 더 빠르게 퇴화하는 이유를 설명한다.

8.5 구현 지능에 대한 시사점

문자는 상태 수준 정보 차원(연속 공간 좌표, 역학 파라미터, 센서 판독값)에서 물리 세계의 요구와 자릿수 규모의 대역폭 격차를 보여, MLLM + WM을 필연적 방향으로 만든다. 그러나 주의해야 할 점: 문자는 규칙 수준 정보 차원(물리 법칙, 인과관계)에서의 콜모고로프 압축 효율이 Shannon 비트율이 시사하는 수준을 크게 상회한다—LLM은 F=ma를 정확히 알 수 있지만, 이 순간 탁자 위의 저 컵의 6자유도 자세는 알 수 없다. 연구 질문은 모달리티를 브리징해야 하는가가 아니라, 현재 브리징 방법이 시스템의 전체 충실도를 물리 과제의 사용 가능 임계값 이상으로 안정적으로 유지할 수 있는가이다. Emu3(Nature, 2026)의 성공은 decoder-only next-token 아키텍처가 불변인 전제에서, 시각 및 동작 토큰 섭취를 통해 입력단 정보 밀도를 높이면 시스템이 물리 과제의 사용 가능 임계값을 넘을 수 있음을 보여준다. 그러나 이 성공이 더 높은 정밀도의 조작 과제(정밀 조립, 유연 물체 조작, 다체 동역학 상호작용)에 일반화 가능한지는 여전히 미해결 질문이다—더 높은 정밀도는 더 좁은 오류 허용 공간을 의미하며, 시스템이 임계값 아래로 재차 추락할 수 있다.

제9장 결론

9.1 주요 발견 요약

본 논문은 decoder-only autoregressive Transformer에 대한 2차원 아키텍처 제한 프레임워크를 제안했다. 공간 차원에서, softmax의 수학적 특성, Transformer의 아키텍처 모순, Agent 시스템의 연쇄 고장, 그리고 구현 AI의 물리 세계 매핑 단절을 정보이론 원리가 관통하는 하나의 인과 사슬로 연결했다. 이 프레임워크는 다중 헤드 어텐션의 정보 구축과 next-token prediction의 정보 소멸 사이의 긴장을 대량의 핵심 LLM 실패 모드의 생성적 원천으로 식별했다. 시간 차원에서, 자기회귀 생성의 단방향성을 어텐션 라우팅과 독립적인 두 번째 구조적 제약으로 표정했다. 두 차원은 개념적으로 분리 가능하지만 실제에서는 결합되어 있다—후속 작업에서 상호작용 항을 규명해야 한다. MLLM + WM은 입력단 상태 수준 정보 밀도를 높여 출력단 구조적 손상을 보상하며, 공간 차원 모순의 증상을 사용 가능 임계값 아래로 억제한다. 본 논문은 또한 정보 처리의 에너지 비용 차원(계산 열역학 제약)을 완전한 아키텍처 제한 이론이 필요로 할 수 있는 세 번째 차원으로 표정했으나, 본 논문에서는 전개하지 않았다.

9.2 미래 연구 방향

4계층 인과 사슬에서 각 계층의 독립적 기여와 상호작용 효과를 실험적으로 검증한다. 서로 다른 대안 아키텍처가 각 계층의 문제를 해결하는 정도를 정량화한다. MLLM + WM이 시스템 충실도를 물리 과제의 사용 가능 임계값 이상으로 유지하는 조건과 한계를 탐구한다. 두 번째 차원(자기회귀 시간 방향성)을 완전히 이론화하고, 공간 라우팅 모순 × 시간 생성 모순의 2차원 아키텍처 제한 이론을 구축하며, 두 차원 사이의 결합 상호작용 항을 규명한다. “가치 있는 잉여”에 실제로 포함된 상호정보를 정량화한다. 두 차원 간 상호작용 효과를 연구한다—어떤 과제 조건에서 어느 쪽이 지배적 병목인지. 정보 충실도와 계산 에너지 비용 사이의 파레토 프런티어를 탐구한다—자기회귀의 “유손실 붕괴”가 어떤 에너지 제약 하에서 최적의 정보 처리 전략인지, 그리고 대안 아키텍처(Diffusion LM, JEPA)의 정보이론적 이점이 수용 가능한 에너지 예산 내에서 실현 가능한지.

9.3 결어

Decoder-only autoregressive Transformer는 사라지지 않을 것이다. 그러나 어텐션 메커니즘은 “유일한 전부”에서 “결정적 순간의 정밀 도구”로 진화해야 한다—이것은 성공한 아키텍처에 대한 부정이 아니라, 그 능력 경계에 대한 냉철한 인식이며, 차세대 아키텍처를 위한 정보이론적 지침이다. 조각적 엔지니어링 해결책은 정보이론 제약에 의해 유계이며, 근본적 아키텍처 진화—다중 토큰 출력, 잠재 추론, 연속 공간 생성, 다중모달 및 세계 모델 융합—가 필연적 경로이다. 그러나 이 경로 자체도 계산 열역학의 제약을 받는다: 정보 충실도의 완벽함과 계산 효율의 현실 사이에 파레토 절충이 존재한다. 최종적 아키텍처는 “완벽한 전역 계획기”와 “결함 있는 국소 생성기”의 양자택일이 아니라, 더 높은 확률로 하이브리드일 것이다—정밀한 역추적이 필요한 결정적 지점에서는 어텐션을, 장거리 시퀀스 처리에서는 선형 시간 메커니즘을, 전역 계획이 필요한 과제에서는 확산식 반복 최적화를 사용하는—인간 뇌가 직관적 빠른 사고(시스템 1)와 심층 숙고적 추론(시스템 2) 사이를 유연하게 전환하듯이. 본 논문이 제안한 2차원 아키텍처 제한 프레임워크에, 표정된 제3차원(계산 열역학)을 더하면, 이러한 하이브리드 아키텍처를 평가하고 설계하기 위한 좌표계를 제공한다.