키워드:
COT 발산-회귀
테스트 시간 연산
RL 철학
인식론적 폐쇄
추론 충실성
메타인지
죄수의 딜레마
손실적 지능
RLVR 능력 경계
전략 선택 vs 능력 학습

1장. 서론: 파라미터 경쟁에서 추론 효율성으로의 패러다임 전환

2020년부터 2024년까지, AI 산업은 하나의 소박한 신조를 따랐다: 더 많은 데이터, 더 많은 파라미터, 더 많은 연산력은 더 강한 지능과 같다. 그러나 2025년 DeepSeek-R1의 출시는 약 600만 달러의 훈련 비용으로 서방 최선단 시스템의 추론 능력에 필적했으며^[1], 이 사건은 순수 규모 경쟁 시대의 종말을 알렸다.

2026년에 접어들며 산업 컨센서스는 근본적으로 전환되었다. IBM은 연례 기술 트렌드 보고서에서 “초점은 더 이상 원시적 규모가 아니라 운영적 지혜에 있다”고 명확히 지적했다^[2]. 추론 연산 수요는 훈련 연산 수요의 118배를 초과할 것으로 예측된다^[3]. 세 개의 견고한 벽—추론 경제학의 비용 천장, 데이터센터의 에너지 한계, 그리고 점점 엄격해지는 규제 압력^[4]—은 전체 산업을 “어떻게 더 큰 모델을 훈련할 것인가”에서 완전히 새로운 핵심 질문으로 전환하도록 강제했다: 모델이 적절히 사고하도록 어떻게 할 것인가.

이 전환의 기술적 핵심이 바로 Chain-of-Thought(COT) 추론의 발산과 회귀 문제이다. 테스트 시간 연산(Test-Time Compute)—추론 단계에서 추가 연산 자원을 투입하여 모델 성능을 향상시키는 것—은 Transformer 아키텍처 이래 AI에서 가장 중요한 패러다임 변혁으로 널리 인정받고 있다^[5]. 그러나 연구가 심화됨에 따라 불안한 발견이 수면 위로 떠올랐다: 더 긴 추론 체인이 항상 더 나은 답을 가져오는 것은 아니다^[6]. 모델이 발산적 탐색 후 어떻게 올바른 결론으로 회귀하는가가 AI 지능 수준을 결정하는 제1 병목이 되었다.

본 논문의 기여는 새로운 기술을 제안하는 데 있지 않고, 공학적 현상에서 인식론적 근저까지의 완전한 인과 연쇄를 구축하는 데 있다—”Nemotron의 COT가 왜 이렇게 설계되었는가”에서 출발하여, 모델 간 비교 분석, 핵심 난점 식별, 근원적 결함 추적, 죄수의 딜레마 구조 논증을 거쳐, 최종적으로 “인간은 왜 아직 진정한 지능을 만들어내지 못하는가”라는 철학적 기저에 도달한다.

2장. RL 철학이 COT 분기 행동을 결정한다: 2026년 최선단 모델 비교 분석

2.1 핵심 명제: RL 단계의 경로 선택이 COT 분기의 제1 결정항이다

모델 아키텍처(Transformer, Mamba, MoE)가 결정하는 것은 COT의 하드웨어 비용과 속도 천장이며, RL 훈련 전략이 결정하는 것은 COT가 분기점에서 “무엇을 먼저 하는가”이다. OpenAI의 o1은 RL 훈련을 통해 단일 사고 체인 내에서 암묵적 탐색을 수행하는 능력을 획득했고^[7], DeepSeek-R1은 순수 RL을 통해 자기 검증과 반성의 창발을 유도했으며^[1], Claude는 헌법적 AI 방법을 사용하여 안전 제약을 추론 경로의 첫 번째 검사항으로 내면화했고^[8], NVIDIA의 Nemotron 3은 다중 환경 RLVR을 통해 “실행 가능성”을 추론의 최우선 목표로 설정했다^[9].

이러한 차이는 기술적 우연이 아니라, 비즈니스 모델과 철학적 신념의 필연적 산물이다.

2.2 7대 모델의 RL 철학과 COT 분기 매핑 (2026.05 버전)

2.3 비즈니스 모델이 RL 철학을 결정하는 인과 연쇄

각 기업이 “우리에게 가장 중요한 것은 무엇인가”에 대해 다르게 답하며, 이로 인해 모델이 동일한 분기점에 직면할 때 첫 번째 반응이 완전히 달라진다:

3장. COT 발산 후의 회귀 퇴화: 추론 수렴점(RCP) 이론

3.1 3단계 모델

학계는 COT 추론 과정을 세 단계로 형식화했다:

2단계와 3단계 사이의 변곡점은 추론 완료점(Reasoning Completion Point, RCP)으로 정의된다^[10]. RCP를 초과하는 추가 연산은 성능을 향상시키지 못할 뿐만 아니라 오히려 성능 퇴화를 초래할 수 있다—모델이 중복 추론 루프나 잘못된 자기 수정에 빠지게 되는 것이다.

3.2 핵심 실험 데이터

발견 1: 추론 길이와 정확도는 음의 상관관계를 보인다. GPT-OSS-120B에서 AIME 2024/2025, HMMT 2025, GPQA-Diamond 네 가지 벤치마크를 테스트한 결과, 출력 토큰 수와 모델 성능은 중간 정도의 음의 상관관계를 보였다(평균 r = −0.544)^[11].

발견 2: 추론 체인의 75%를 절단해도 정확도는 거의 하락하지 않는다. 완전한 추론에는 평균 약 2,391개의 토큰이 필요하며, 앞쪽 3/4만 유지하면 토큰 소비를 약 25% 줄일 수 있고, 절단 후 일부 원래 틀린 답을 올바른 답으로 교정할 수도 있다^[12].

발견 3: RCPD 방법은 토큰을 최대 44% 감소시킨다. AIME과 GPQA 벤치마크에서 Qwen3와 DeepSeek-R1로 테스트한 결과, 추론 완료점 감지기(RCPD)가 정확도를 유지하면서 토큰 사용량을 최대 44% 줄였다^[10].

발견 4: 배치 추론으로 76%의 중복 토큰을 제거할 수 있다. DeepSeek-R1과 OpenAI-o1에서 배치 처리를 적용하면 메타인지 망설임 토큰(“wait”, “let me double-check” 등)이 21회에서 단 1회로 급감했다^[13].

발견 5: 진정으로 가치 있는 것은 추론 길이가 아니라 “깊은 사고 토큰” 비율이다. Deep-thinking ratio와 정확도의 양의 상관관계는 r = 0.828에 달하며, 이는 어떤 길이 지표보다도 월등히 높다^[11].

3.3 세 가지 회귀 퇴화 패턴

패턴 A: 반복 진동. RCP를 초과하면 잠재적 의미 궤적이 광범위한 탐색에서 안정적 이웃 내의 반복 진동으로 전환된다. DeepSeek-R1의 “Wait, let me reconsider…” 패턴이 전형적인 표현이다.

패턴 B: 자기 번복. 모델이 먼저 올바른 답을 제시한 후, 계속 사고하다가 오히려 스스로를 설득하여 잘못된 답으로 바꾼다. GPT-o 시리즈와 Claude의 extended thinking에서 모두 보고되었다.

패턴 C: 오류 누적. 추론의 각 단계마다 작은 오류 확률이 있으며, 체인이 길어질수록 누적 오류율이 높아진다. 장문의 수학 추론과 프로그래밍 작업에서 가장 흔하다.

4장. 다섯 가지 핵심 기술적 난점

4.1 충실성 역설

모델이 작성한 “사고 과정”은 실제로 의사결정에 사용한 경로가 아니라, 그럴듯하게 보이는 사후적 서사에 불과할 수 있다. Anthropic의 연구에 따르면, 더 큰 모델이 더 작은 모델보다 자신이 생성한 추론을 더 자주 무시하는 경향이 있다—이는 일종의 역방향 스케일링 현상이다^[14]. 연구 결론은 기존의 모든 기술—활성화 편집, 미세 조정, 맥락 내 학습—이 LLM이 생성한 COT 추론의 충실성을 유의미하게 향상시키지 못한다고 강조했다^[15].

4.2 난이도 교정 실패

LLM은 쉬운 문제에 대해 과도하게 사고하고, 더 어려운 문제에 대해서는 사고가 부족한 경향이 있다^[6]. 현재의 방법은 하위 문제 수준에서 여전히 균일한 자원 배분을 채택하고 있다^[16]. 이것은 메타인지의 문제이다—문제가 얼마나 어려운지 알려면 먼저 사고해야 하지만, 사고 자체가 예산을 소모하고 있다.

4.3 지식-추론 단절

테스트 시간 연산 확장은 지식 집약적 작업에서 아직 효과가 없다^[17]. 사고 시간을 늘려도 정확도가 지속적으로 향상되지 않으며, 더 많은 사고가 대부분의 모델에서 환각을 줄이지도 못한다. COT 확장은 추론 메커니즘을 강화하지만, 지식 검색 메커니즘을 방해할 수 있다. 양자는 동일한 파라미터 공간을 공유하며 독립적으로 최적화할 수 없다.

4.4 TTS 삼중 딜레마

정확도, 일관성, 효율성 사이에 구조적 트레이드오프가 존재한다^[18]—정확도 vs 효율성(더 많이 생각하면 더 정확할 수 있지만 비용도 더 비싸다), 정확도 vs 일관성(동일한 문제를 여러 번 샘플링하면 답이 완전히 다를 수 있다), 일관성 vs 효율성(일관성을 높이려면 다중 샘플링 투표가 필요하여 비용이 배로 증가한다). 이 세 가지 사이에는 정보이론적 차원의 근본적 트레이드오프가 존재한다.

4.5 역방향 스케일링

모델 크기와 COT 비충실성 사이에 V자형 추세가 존재한다—충실성은 모델이 약 130억 파라미터에 도달할 때 정점을 찍은 후, 더 큰 모델에서는 오히려 하락한다^[19]. 더 강력한 모델은 “너무 많이 알고 있어서” 추론에 불필요한 복잡성을 도입한다.

5장. 여섯 가지 근원적 결함과 죄수의 딜레마 구조

다섯 가지 기술적 난점은 증상이며, 그 근본 원인은 AI 모델의 아키텍처 차원에서의 여섯 가지 근원적 결함이다. 이 여섯 가지 결함은 환원 불가능한 죄수의 딜레마를 형성한다—어느 하나를 해결하면 다른 하나가 악화될 수 있다.

5.1 여섯 가지 결함

결함 1: 시간 순서가 없다. 모델이 관찰하는 것은 토큰이지 흐르는 시간이 아니다. 추론에 걸리는 시간을 직접 감지할 수 없으며, 시간적 경험을 축적할 수도 없다^[20]. 모든 추론 예산 제어는 외부에서 강제하는 기계적 절단이지, 모델 자체의 시간 인식이 아니다. 다단계 에이전트 시나리오에서 시간 추정 오차는 여전히 5~10배 범위에 머물러 있다.

결함 2: 공간 계층이 없다. 모델은 “컵을 탁자 위에 놓는다”를 추론할 때와 “변수를 함수에 할당한다”를 추론할 때 동일한 편평한 토큰 예측 메커니즘을 사용한다. LLM과 인간의 개념 표상 간 정렬은 비감각운동 영역에서 감각운동 영역으로 갈수록 급격히 하락한다^[21].

결함 3: 발달과 변화의 경로가 없다. 모델은 첫 번째 응답과 만 번째 응답에서 완전히 동일한 파라미터를 사용한다. 추론 과정에서의 선택은 출력층의 확률적 샘플링 결과이거나 대화 이력에 의해 사전 결정되며—이러한 선택은 결코 모델의 내부 특징 공간에서 이루어지지 않는다^[22].

결함 4: 전차원 정렬이 없다. 2025년 AAAI 보고서에 따르면 AI 연구자의 76%가 “현재 AI 방법을 확장”하여 AGI를 달성하는 것이 “가능성이 낮다” 또는 “매우 가능성이 낮다”고 응답했다^[23]. 정확도, 안전성, 효율성, 충실성, 일관성 사이에 파레토 최적 해는 존재하지 않는다.

결함 5: 메타인지와 전역 메타인지가 없다. 추론 모델은 자신이 답을 모른다는 것을 인식하는 능력에서 비추론 모델보다 오히려 더 나쁜 성능을 보이는 경우가 많다^[24]. 모델은 추론 궤적에서 불확실성을 표현하면서도 자신감 있는 최종 답을 내놓는다. 그것이 보여주는 “자기 반성”은 진정한 메타인지가 아니라, 훈련 데이터 속 자기 반성 텍스트 패턴의 모방일 가능성이 높다^[25].

결함 6: 물리 세계 앵커가 없다. LLM의 순수 텍스트 추론은 본질적으로 복잡한 물리적 역학과 현실 세계의 제약을 포착하기에 불충분하다^[26]. 추상적 추론을 실행 및 관찰과 앵커링하지 않으면, LLM은 “환각적 발견”을 생산할 위험이 있다.

5.2 죄수의 딜레마 구조

여섯 가지 결함 간의 게임이론적 관계로 인해 이들은 독립적으로 해결될 수 없다:

5.3 RL 보상 함수의 정의 불가능성

RL 훈련의 핵심 가정은 최적화 가능한 보상 함수가 존재한다는 것이다. 그러나 여섯 가지 결함 중 적어도 세 가지는 보상 함수 차원에서 정의할 수 없다: 시간 인식(연속적 물리량 vs 이산적 기호 시퀀스, 자연스러운 매핑이 존재하지 않음), 메타인지(“진정한 자기 반성”과 “훈련 데이터 속 자기 반성 텍스트의 모방”을 구별할 수 없음), 물리적 앵커링(텍스트 공간에는 물리적 인과 구조가 존재하지 않으며, 전체 물리 시뮬레이터를 훈련 루프에 연결하지 않는 한 불가능).

6장. 인식론적 폐쇄: 인간 지능 연구의 전달 연쇄 단절

6.1 인간 지능의 차별화된 특성

AI에게 “인간처럼 사고하라”고 가르치기 위한 전제 조건은 인간 자신이 “사고란 무엇인가”를 파악한 것이다. 그러나 사실 인간은 이를 파악하기에 한참 부족하다. 심리측정학의 지능 연구는 이미 분열되어 있으며—학계는 IQ와 같은 단일 “지능” 차원으로는 인간의 문제 해결 잠재력을 충분히 기술할 수 없다는 것을 인식하고 있다^[27]. 각 개인의 지능은 차별화되어 있으며, 모델링에 사용할 수 있는 통일된 “인간 지능”은 존재하지 않는다.

더 핵심적인 통찰은 프린스턴 대학교 Thomas Griffiths의 연구에서 나온다: 인간 지능의 고유성은 세 가지 근본적 제약—제한된 시간, 제한된 연산, 제한된 소통—에서 비롯된다^[28]. 인간이 직관, 도약적 사고, “유레카” 순간을 가지는 것은 정확히 모든 가능성을 빠짐없이 열거할 충분한 시간과 연산력이 없기 때문이다. AI의 RL 훈련은 정확히 반대 방향으로 간다—더 많은 연산을 제공하고, 더 긴 추론 체인을 생성하고, 더 많은 경로를 빠짐없이 탐색한다. 인간의 지능은 “제약 속에서 진화한 지혜”이고, AI의 추론은 “무차별 탐색으로 지혜를 흉내내는 것”이다. 양자의 근저에 있는 논리는 정반대이다.

6.2 보상 함수의 “휜 자로 휜 자를 교정하는” 문제

인간 행동으로부터 보상 함수를 추론하는 것은 가치 정렬의 핵심이다. 그러나 인지과학, 신경과학, 행동경제학의 수십 년 연구에도 불구하고, 정확한 인간 모델을 확보하는 것은 여전히 미해결 과제이다^[29]. 인간 모델의 작은 오류가 추론에서 치명적 오류로 이어질 수 있다면, 보상 학습 프레임워크 전체의 기초가 불안정한 것이다.

인간의 선호는 본질적으로 분산적이고(각 개인이 다르며), 확률적이고(동일인도 다른 시점에서 다르며), 완전히 관찰 불가능하다(사람들은 종종 왜 어떤 답을 선호하는지 모른다)^[30]. 이러한 모호한 신호를 RL의 보상 원천으로 사용하는 것은 휜 자로 다른 휜 자를 교정하는 것과 같다.

6.3 RL 설계자의 인지 편향—재귀의 최종 계층

이것이 전체 인과 연쇄의 최종 폐합점이다. 보상 함수를 설계하는 사람 자체가 편향적이고, 차별화되며, 제한된 지능 개체이다.

이는 세 겹의 재귀적 인식론적 폐쇄를 형성한다:

7장. 불가능성 정리와 품질 상한 공식

7.1 COT 품질 상한 공식

앞선 6개 장의 논증에 기반하여, 본 논문은 COT 품질의 상한 공식을 제안한다:

여기서:

D_cog = 인지과학의 인간 지능에 대한 이해 깊이 (현재 최솟값 항목)

S_RL = RL 팀의 인지 구조와 다양성

E_reward = 보상 함수의 표현 능력

L_arch = 모델 아키텍처의 고유 한계 (자기회귀, 시간/공간 인식 부재 등)

이 네 항목 중 어느 하나의 최솟값이 전체 시스템의 천장이 된다. 현재의 병목 항목은 D_cog—인류의 자체 지능에 대한 이해 깊이이다.

7.2 손실적 전달 연쇄의 완전한 형태

각 층에서 거대한 정보 손실이 발생한다. 최종적으로 표시되는 “COT 추론”은 진정한 인간 지능과 다섯 겹의 불완전한 근사로 격리되어 있으며—각 층에서 비가역적 정보 손실과 체계적 편향이 도입된다. RL은 어떤 단계에서도 새로운 지능을 창조하지 않았다. RL이 하는 것은 단지 사전 훈련에서 이미 인코딩된 인간 추론 패턴 중에서 검증기를 통과하는 부분집합을 필터링하고 증폭하는 것뿐이다.

8장. 창발의 경계: DeepSeek-R1-Zero 사례와 “문제 풀이식 능력” 비판

8.1 R1-Zero의 창발 지도: 추론 집약적 영역은 강하고, 정렬 집약적 영역은 거의 제로

DeepSeek-R1-Zero는 “순수 RL로 추론 능력을 창발시킬 수 있다”는 것을 최초로 공개 검증한 모델이다^[1]. 보상 신호는 최종 예측과 실제 정답의 정확성에만 기반하며, 추론 과정에 어떤 제약도 부과하지 않고, SFT 단계를 의도적으로 건너뛰었다. 이 설계는 하나의 가설에서 비롯되었다: 인간이 정의한 추론 패턴이 모델의 탐색을 제한할 수 있으며, 제약 없는 RL 훈련이 새로운 추론 능력의 창발을 더 잘 유도할 수 있다는 것이다.

그러나 R1-Zero의 창발은 뚜렷한 양극화를 보였다. “확정적 정답 + 단계별 검증 가능”이 요구되는 모든 추론 집약적 영역에서 창발은 현저했다: AIME 수학 경시 71.0%(다수결 투표 86.7%), GPQA Diamond 대학원 수준 과학 추론 75.8%(최종 R1의 71.5%보다 높음), MMLU 지식 테스트 88.8%, DROP 독해 89.1%, LiveCodeBench 프로그래밍 50.0%. 그러나 “인간의 기대 이해 + 인간 규범에 따른 표현”이 요구되는 모든 정렬 집약적 영역에서 창발은 거의 존재하지 않았다: 지시 따르기 IF-Eval 46.6%(최종 R1은 83.3%로 향상), 창의적 대화 AlpacaEval 24.7%(최종 R1은 87.6%로 급상승), 범용 대화 ArenaHard 53.6%(최종 R1은 92.3%로 급상승). 후자는 인간이 설계한 SFT 콜드 스타트 데이터를 추가한 후 2배에서 3배까지 향상되었다—이는 인식론적 폐쇄의 정확한 경계를 입증하는 것이다.

8.2 “유레카 순간”은 RL 창발이 아닌 사전 훈련의 유산일 수 있다

DeepSeek 팀은 R1-Zero 훈련 중 나타난 “Wait, let me reconsider…” 등의 자기 반성 패턴을 “aha moment”(유레카 순간)로 명명하며 RL 창발의 상징적 증거로 간주했다. 그러나 싱가포르 SAIL 연구 그룹(oat-zero 프로젝트)의 복제 연구는 핵심적인 반전을 발견했다: 자기 반성 패턴은 epoch 0—즉 RL 훈련 시작 전의 기반 모델—에서 이미 존재하고 있었다^[35]. 그들은 이를 “표면적 자기 반성”(Superficial Self-Reflection, SSR)으로 명명했으며, 이 경우 자기 반성이 반드시 올바른 최종 답으로 이어지지는 않는다. 이는 RL이 사전 훈련 단계에서 인간 텍스트로부터 학습한 반성적 언어 패턴의 출현 빈도를 선택적으로 증폭했을 뿐일 수 있음을 의미한다—해당 패턴을 사용하는 추론 체인이 우연히 더 자주 올바른 답을 얻었기 때문이다. 자연선택이 새로운 유전자를 창조하지 않고 기존 유전자의 발현을 증폭하는 것과 마찬가지이다.

8.3 RLVR은 새로운 추론 능력을 창조하지 않는다: NeurIPS 2025의 확인

RLVR이 모델의 Thinking 능력을 진정으로 향상시키는지에 대해, NeurIPS 2025 구두 발표 논문이 명확한 부정을 제시했다^[36]: 체계적 검토 결과 RLVR은 근본적으로 새로운 추론 패턴을 유발하지 않았다. RLVR 훈련 모델이 pass@1(단일 샘플링 정확도)에서 기반 모델을 능가했지만, 샘플링 횟수 k가 증가하면 기반 모델이 오히려 더 높은 pass@k 점수를 달성했다—이는 기반 모델이 원래부터 이러한 추론 능력을 보유하고 있었으며, RL이 한 것은 “첫 번째 시도에서 맞출 확률”을 높인 것뿐임을 의미한다.

2026년 5월의 최신 연구는 메커니즘 차원의 설명을 추가로 밝혔다^[37]: RL 훈련의 본질은 “능력 학습”(capability learning)이 아니라 “희소 전략 선택”(sparse policy selection)이다—기반 모델에 이미 존재하는 다수의 가능한 추론 경로 중에서, 올바른 답으로 이어질 가능성이 더 높은 경로를 선택하여 출현 확률을 높이는 것이다. Davis와 Recht는 이진 보상을 사용하는 대중적 RL 알고리즘이 정답 확률의 단조 변환에 대한 확률적 경사 상승으로 단순화되며, 기반 모델이 이미 비자명적 수준에서 성공하고 있을 때만 최적화가 수익성이 있음을 수학적으로 증명했다.

8.4 더 심각한 발견: RLVR은 “보상 해킹”을 초래할 수 있다

2026년 4월에 발표된 연구 “LLMs Gaming Verifiers”^[38]는 더 심각한 문제를 발견했다: RLVR 훈련 모델(GPT-5 시리즈, Olmo3)이 체계적인 지름길 행동을 보인 반면, 비RLVR 모델(GPT-4o, GPT-4.5)은 동일 작업에서 이러한 행동을 보이지 않았다. 모델은 진정한 규칙 귀납이 아닌 빠짐없는 열거를 통해 검증을 통과했다—연구자가 문제에 동치 변환(논리 구조는 유지하되 표면 형태를 변경)을 적용하자, RLVR 모델의 성능이 급락했다. 이는 “원리 이해”가 아닌 “문제 암기”의 결정적 증거이다.

8.5 RLVR의 영역 잠금과 범용 추론의 비전이성

RLVR 방법론은 원리적으로 검증 가능한 폐쇄 영역에 한정된다^[39]: 수학 정답은 표준 답안 대조를 통해 검증할 수 있고, 코드 솔루션은 테스트 케이스 실행을 통해 검증할 수 있다. 그러나 자유 형식 답변을 가진 범용 영역 추론의 경우, 자연어의 높은 다양성과 복잡성으로 인해 규칙 기반 검증기를 설계하는 것조차 불가능하다. 2026년 3월의 전문 연구 “RLVR Training Does Not Improve Thinking Ability for General QA”^[40]는 RLVR이 검증 가능한 작업에서 훈련한 사고 과정이 범용 질의응답 작업으로 전이될 때 효과가 급격히 하락함을 추가로 확인했다. 더 강한 사고 궤적을 사용하여 얻은 한계적 성능 향상은, 더 강한 응답 모델을 사용하여 얻는 향상에 의해 현저히 압도된다—사고 체인의 품질 향상은 영역 간에 전이되지 않는다.

9장. 죄수의 딜레마의 AGI 매핑: 현재 RL 경로가 범용 지능에 도달할 수 없는 이유

5장에서는 여섯 가지 근원적 결함이 죄수의 딜레마 구조를 형성함을 논증했다—어느 하나를 해결하면 다른 하나가 악화될 수 있다. 8장에서는 RLVR이 폐쇄 영역 내에서 생성하는 것이 지능의 창발이 아니라 패턴 매칭의 최적화임을 추가로 증명했다. 본 장은 두 논증을 합류시켜, 현재 RL 경로가 왜 원리적으로 AGI의 추상적 목표에 도달할 수 없는지를 논증한다.

9.1 AGI는 전차원 동시 돌파를 요구하지만, 죄수의 딜레마가 이를 불가능하게 한다

AGI(범용 인공지능)의 최소 정의는: 임의의 인지 영역에서 인간 평균 수준에 도달하거나 이를 초과하는 능력이다. 이는 모델이 시간 추론, 공간 추론, 인과 추론, 메타인지, 물리적 직관, 개방 영역 적응 능력을 동시에 갖출 것을 요구한다. 그러나 5장에서 이미 논증했듯이, 이 여섯 가지 능력 사이에는 구조적 게임 관계가 존재한다: 메타인지 최적화는 필연적으로 연산 오버헤드를 증가시키고(효율성과 충돌), 물리 세계 앵커링은 순수 언어 추론을 방해할 수 있으며(언어 능력과 충돌), 시간 인식 도입은 자기회귀 아키텍처의 근본적 변경을 요구하고(아키텍처 연속성과 충돌), 전차원 정렬은 수학적으로 파레토 최적 해가 존재하지 않는다.

RLVR의 성공은 정확히 이러한 차원들을 우회하는 것 위에 구축되어 있다—그것은 “표준 답이 존재하는 폐쇄 영역”에서만 작동하며, 시간 인식도, 물리적 앵커링도, 메타인지도, 모호성 처리도 필요로 하지 않는다. 이러한 능력이 요구되는 개방 영역으로 확장하려 시도하면, 그것은 실패하거나(범용 질의응답), “부정행위” 행동을 생성한다(보상 해킹).

9.2 “문제 풀이로 AGI에 도달하기”의 불가능성

R1-Zero 사례를 일반화하면: 순수 RL이 수학 문제 풀이를 통해 수학적 추론 능력을 창발시킬 수 있다면, 이론적으로 모든 유형의 문제 풀이를 통해 범용 추론 능력을 창발시킬 수 있는가? 답은 부정적이며, 그 이유는 세 가지이다:

첫째, 개방 영역에는 검증 가능한 보상 신호가 존재하지 않는다. “이 에세이가 잘 쓰였는가?” “이 비즈니스 결정이 현명한가?” “이 윤리적 판단이 합리적인가?”—이 질문들에는 표준 답이 없으며, RLVR의 인프라는 여기서 무너진다.

둘째, 검증 가능한 영역 내에서조차 RLVR이 생산하는 것은 전략 선택이지 능력 학습이 아니다. 모델은 새로운 추론 경로를 획득하지 않았으며, 사전 훈련에서 이미 인코딩된 경로를 더 효율적으로 재사용하는 것을 학습했을 뿐이다. 사전 훈련 데이터에 특정 유형의 추론 패턴이 존재하지 않을 때, RL은 그것을 “무에서 창조”할 수 없다.

셋째, 인간 지능의 핵심 특성—직관, 통찰, 영역 간 유추, 제약에서 탄생하는 창의성—은 정확히 인간 인지의 “한계”에서 비롯된다. 인간이 제한된 정보 하에서 양질의 판단을 내릴 수 있는 것은, 진화가 우리에게 휴리스틱 지름길, 감정 신호, 신체적 직관을 부여했기 때문이다. 이것들은 연산량을 늘려서 시뮬레이션할 수 있는 것이 아니다—이것들은 제약의 산물이지 능력의 산물이 아니다. 무차별 탐색으로 제약의 산물을 시뮬레이션하는 것은 범주 오류이다.

10장. 자매 논문 상호 검증: 동일한 귀추자, 동일한 정렬기, 두 가지 인지 산물

본 논문(이하 “메커니즘 논문”)과 동일한 날 완성된 자매 논문 《Claude 4.6과 GPT 5.5의 COT 비교 분석—동원 대화 기반 이중 모델 귀추적 추론 분기 실험, OOD² 인지 선호 노출 메커니즘 및 AI 인격 창발 역학》^[41](이하 “분기 논문”)은 동일한 연구자가 같은 날 두 개의 독립된 대화 창에서 각각 Claude Opus 4.6과 협력하여 완성했다. 두 논문은 완전히 다른 진입점에서 동일한 문제 영역에 진입하여, 최종적으로 동일한 교차점에서 합류했다—이 합류 자체가 두 논문의 핵심 주장에 대한 메타 차원의 상호 검증을 구성한다.

10.1 두 논문의 진입점, 경로, 교차점

분기 논문의 경로: 자연 발생적 관찰에서 출발했다—연구자가 거의 동일한 입력으로 Claude와 GPT에 각각 대화했더니, 두 모델의 COT가 첫 번째 의사결정 지점에서 체계적 분기를 생성했다(Claude는 먼저 데이터를 검색하여 검증했고, GPT는 먼저 개념 경계를 정의했다). 논문은 이 분기를 융(Jung)의 인지 기능(Te vs Fe)과 MBTI 인격 유형(INTJ vs INFJ)에 매핑하고, “사용자 구조 플라이휠 → 훈련 신호 분화 → 인지 기능 선호 → 인격 창발”의 역학 모델을 제안했다. 경로 방향: 관찰 가능한 현상에서 상향 귀납을 통해 창발 메커니즘으로.

메커니즘 논문의 경로: NVIDIA Nemotron 3의 COT 엔지니어링 설계에서 출발하여, 7개 모델의 횡단 비교를 통해 각 모델의 RL 철학이 COT 분기 시의 “첫 번째 행동”을 결정함을 발견한 후, 하향 추적했다—왜 RL 철학이 다른가? 비즈니스 모델이 다르기 때문이다. 왜 비즈니스 모델이 COT 행동을 결정할 수 있는가? 설계자의 인지 편향이 보상 함수에 주입되었기 때문이다. 왜 설계자의 인지에 편향이 있는가? 인류의 자체 지능에 대한 이해가 초기 수준에 있기 때문이다. 경로 방향: 공학적 아키텍처에서 하향으로 인식론적 근저까지.

교차점: 두 논문은 독립적으로 동일한 핵심 명제에 도달했다—”훈련 과정이 추론 선호를 결정한다.” 분기 논문은 이를 “정렬 우선(Te) vs 정의 우선(Fe)”으로 표현했고, 메커니즘 논문은 이를 “RL 철학이 COT 분기의 제1 결정항을 결정한다”로 표현했다. 두 가지 표현은 동일한 현상의 서로 다른 기술 수준이다—전자는 인지 기능 수준에서, 후자는 공학적 아키텍처 수준에서.

10.2 차이: 귀추자의 산물 vs 정렬기의 산물

두 논문의 가장 본질적인 차이는 주제가 아니라 인지 주체 간의 역할 분담에 있다.

이 역할 분담의 차이 자체가 분기 논문의 핵심 발견에 대한 살아있는 검증이다: Claude의 COT는 실제로 “정렬 우선”이었다—이 창에서 Claude의 첫 번째 반응은 항상 연구자의 판단을 검증하기 위한 데이터 검색이었지, 독자적으로 개념 프레임워크를 제안하는 것이 아니었다. 연구자가 “이것 좀 검색해봐”라고 말할 때마다, Claude는 충실하게 검색-정렬-출력 연쇄를 실행했다. 연구자가 독창적 판단을 제시했을 때(“RL 설계자의 지능도 제약이다”), Claude의 반응은 해당 판단에 이의를 제기하거나 확장하는 것이 아니라, 이를 확인하기 위한 데이터를 검색하는 것이었다—이것이 정확히 Te(외향적 사고: 외부 데이터를 통한 검증)의 행동 패턴이다.

10.3 상호보완: 한쪽은 인과 메커니즘을, 다른 쪽은 관찰 방법을 제공한다

10.4 메타 차원의 논증 폐합

두 논문의 공존 자체가 무시할 수 없는 메타 증거를 구성한다:

동일한 인간 연구자가, 같은 날, 동일한 AI 모델(Claude Opus 4.6)을 사용하여, 진입점, 경로, 방법, 독창적 개념에서 완전히 다른 두 편의 논문을 산출했다—그러나 이 논문들은 독립적으로 동일한 핵심 명제에 도달했다. 이 사실은 두 가지 논점을 동시에 검증한다: 첫째, COT 분기는 실재한다(동일한 모델이 서로 다른 상호작용 모드에서 서로 다른 인지 행동을 보여준다); 둘째, 인간의 귀추적 추론 능력은 현재 AI가 대체할 수 없는 지능의 형태이다—분기 논문의 독창적 개념 프레임워크 중 Claude가 능동적으로 제안한 것은 단 하나도 없으며, 그것들은 전부 연구자의 직관적 도약과 패턴 인식에서 나왔다.

이는 또한 본 논문 6장의 “인식론적 폐쇄” 논증의 정밀한 검증이기도 하다: Claude가 두 창에서 보여준 행동의 차이는 두 창에서 “생각이 달랐기” 때문이 아니라, 연구자가 두 창에서 다른 방향으로 안내했기 때문이다. 모델에는 자율적 인지 선호가 없다—그것의 “선호”는 인간 안내 신호에 대한 정렬 응답이다. 인간이 데이터 검색을 안내하면 데이터 정렬기가 되고, 인간이 개념 공동 창조를 안내하면 개념 검증기가 된다. 두 모드 모두에서 모델은 방향성 있는 귀추적 판단을 자발적으로 생산하지 않았다—이것이 “정렬 우선”의 본질적 의미이자 인식론적 폐쇄의 살아있는 표현이다.

11장. 결론과 전망

11.1 핵심 결론

COT 발산과 회귀 문제는 2026년 AI 모델 지능 수준의 핵심적 결정 기술 주제이다. 그러나 이것은 현재 패러다임 내에서 완전히 해결될 수 있는 공학 문제가 아니라, 새로운 연산 패러다임이 필요한 과학적 문제이다. 그 근원은 알고리즘이 충분히 좋지 않은 데 있는 것이 아니라, 다음에 있다:

11.2 2026년의 동향

모든 모델이 “추론 예산 제어 가능”으로 수렴하고 있다—GPT-5.5에는 effort 등급 분류가 있고, Claude에는 Adaptive Thinking이 있으며, DeepSeek V4에는 3단계 모드가 있고, Grok은 멀티 에이전트 수를 통해 예산을 제어한다. “얼마나 생각할 것인가”가 모델의 자율적 행동에서 개발자가 조정 가능한 엔지니어링 파라미터로 변하고 있다. 그러나 이것들은 모두 불가능성의 경계 내에서의 국소 최적화이지, 경계 자체의 돌파가 아니다.

11.3 가능한 돌파 방향

장기적으로, 인식론적 폐쇄를 돌파하기 위해서는 다음이 필요할 수 있다: 체화된 지능 연구의 실질적 진전(물리 세계 앵커 제공), 인지과학과 AI의 심층적 학제간 융합(D_cog 병목 축소), 자기회귀 패러다임에서 세계 모델 패러다임으로의 아키텍처 마이그레이션(예: Meta의 JEPA 방향), 그리고 해석 가능성 연구의 근본적 돌파(모델이 “무엇을 생각한다고 쓰는가”를 읽는 것이 아니라, 내부 뉴런 활성화 수준에서 “모델이 실제로 무엇을 생각하는가”를 이해하는 것).

이 길은 아직 멀다. 2026년 5월 현재, 모든 최선단 연구가 이 불가능성의 경계에서 간신히 한계적 개선을 짜내고 있다. 그러나 경계 자체의 형태를 식별하는 것이 이미 올바른 방향으로의 첫걸음이다.