다양한 언어의 Top-K 모호성과
논리적 추론 창발

I 문제 제기

현재 LLM 연구 커뮤니티가 다국어 모델 성능을 논의할 때, 주로 세 가지 영역에 집중한다: 어휘 설계 및 토크나이제이션 효율성, 다국어 훈련 데이터의 비율과 품질, 그리고 각 언어별 벤치마크 점수 차이. 그러나 더 근본적인 구조적 질문이 완전히 간과되어 왔다—모델 추론 과정에서 각 토큰 위치의 확률 분포 형태 자체가 언어에 따라 체계적인 차이를 보인다는 사실이다.

이 맹점의 존재는 우연이 아니다. 전 세계 상위 20% AI 연구자 중 47%가 중국 출신이며, 18%가 미국 출신이다^[1]. 미국 최고 AI 기관에서 중국계 연구자는 38%를 차지하여 미국 본토 출신 37%를 약간 상회한다^[2]. 글로벌 TOP 100 AI 전문가 중 50명이 중국계이다^[3]. 그럼에도 주류 LLM 연구 패러다임은 여전히 영어 코퍼스, 영어 논문 표현, 영어 벤치마크를 기본 참조 프레임으로 삼고 있다. 이러한 연구 생태계는 비영어 언어가 모델의 다음 토큰 예측 분포에 미치는 구조적 영향을 체계적으로 과소평가하게 만들 수 있다—연구자 자신이 바로 그 언어의 모국어 사용자임에도 불구하고.

II 핵심 가설

2.1 핵심 구분: 언어학적 모호성 vs 모델 예측 모호성

가설을 전개하기 전에, 세 가지 층위의 개념을 엄격히 구분해야 한다: (a) 언어학적 모호성—인간 언어 구조에 내재된 다의성, 생략, 경계 모호성; (b) 모델 예측 모호성—주어진 문맥에서 모델이 다음 토큰을 예측할 때의 합법적 후보 밀도; (c) 추론 창발—비언어적 과제에서의 모델 일반화 성능. 본 논문의 핵심 가정은 이 세 층위 사이에 인과 전달 사슬이 존재한다는 것이다:

본 논문은 첫 번째 단계에서 마지막 단계까지의 모든 도약이 아직 실증적으로 검증되지 않았음을 인정한다. 높은 언어학적 모호성이 반드시 모델의 예측 분포가 더 평탄하다는 것을 의미하지는 않는다—모델이 충분한 훈련 데이터를 통해 소거를 학습할 수 있기 때문이다. 그러나 우리의 가설은 모델이 훈련 과정에서 고모호성 언어에 대한 혼란도를 점진적으로 낮추더라도, 이 과정 자체에 요구되는 더 강력한 소거 능력이야말로 추론 창발의 원천이라는 것이다.

2.2 수학적 형식화: 조건부 엔트로피와 소거 부하

문맥 C가 주어졌을 때 언어 L의 토큰 분포 조건부 엔트로피를 다음과 같이 정의한다:

본 논문의 핵심 가정은 다음과 같이 형식화할 수 있다: 의미적으로 동등한 문맥 C_zh와 C_en에 대해, 중국어의 평균 조건부 엔트로피가 영어보다 현저히 높다:

이로부터 “소거 부하(Disambiguation Load)” 개념이 도출된다: 고모호성 언어의 다음 토큰을 예측할 때, 모델은 내부 어텐션 레이어에서 더 많은 “의미적 병렬 경로”를 유지해야 한다—즉, 정확한 후보로 수렴할 수 있을 만큼 충분한 문맥 정보가 축적될 때까지 여러 합리적인 후속 가능성을 동시에 추적해야 한다. 이러한 병렬 소거의 인지적 압력이 바로 우리가 “추론 근육” 성장을 이끈다고 가정하는 메커니즘이다.

2.3 Top-K 분기 가설

LLM 추론의 자기회귀 생성 과정에서, 각 토큰 위치마다 모델은 전체 어휘에 대한 확률 분포를 계산한다. Top-P 샘플링 전략은 누적 확률이 임계값 P에 도달하는 최소 토큰 집합을 선택한다. 우리는 동일 모델 내에서 서로 다른 언어의 텍스트가 생성하는 확률 분포의 형태에 체계적 차이가 존재한다고 제안한다—고모호성 언어의 분포는 더 평탄하고(고엔트로피), 저모호성 언어의 분포는 더 가파르다(저엔트로피)^[4].

분포가 가파를 때(예: 영어 “I went to the ___”), 상위 2–3개 후보만으로 확률의 90%를 커버할 수 있다. 분포가 평탄할 때(예: 중국어 “我到了___”), 동일 임계값에 도달하려면 수백 개의 후보가 필요할 수 있다.

2.4 모호성-추론 창발 가설

더 중요한 것은, 이러한 분포 차이가 추론 단계의 계산 비용뿐만 아니라 훈련 단계에서 근본적인 영향을 미친다는 점이다. 훈련 과정에서 모델은 다음 토큰 예측에 대한 교차 엔트로피 손실을 통해 최적화된다. 고모호성 언어 코퍼스의 경우 각 위치에서 합리적인 후보가 더 많으며, 모델이 표층적 패턴 매칭에만 의존해서는 혼란도를 효과적으로 낮출 수 없다. 초기 연구에 따르면, 중국어 다문자 토큰을 처리하는 언어 모델은 문자 수준 기준선 대비 혼란도를 20.94% 낮출 수 있는 것으로 나타났으며^[15], 이는 중국어 토큰의 풍부한 의미 구조가 모델 학습에 미치는 영향을 시사한다. 모델은 더 깊은 의미 이해와 문맥 추론 능력을 발전시킬 수밖에 없다—마치 고지대에서 훈련하는 운동선수가 더 강한 산소 운반 능력을 발전시킬 수밖에 없는 것과 같다.

III 언어 모호성 지수 프레임워크

다양한 언어의 모호성 수준을 정량화하기 위해, 우리는 다음 8개 차원을 포함하는 다차원 언어 모호성 지수(Linguistic Ambiguity Index, LAI)를 구축한다. V4 버전의 가중치는 발견적으로 설정되었으며, 추후 실제 모델의 평균 예측 엔트로피에 대한 회귀를 통해 보정할 수 있다. “의미 밀도”는 엄밀히 말해 모호성이 아닌 정보 압축 효율성을 측정한다는 점을 지적해야 한다—프레임워크의 완전성을 유지하기 위해 의도적으로 LAI에 포함시키되, 이 차원과 나머지 7개 차원 사이의 개념적 긴장을 인정한다. 이 긴장 자체가 향후 연구에서 더 깊이 규명할 가치가 있다:

“생략률” 차원은 특히 심층적인 논의가 필요하다. 중국어와 일본어는 극히 높은 영형 대용(Zero Anaphora) 비율을 보인다—주어와 목적어가 빈번히 생략되며, 모델은 문맥 내 장거리 의존(Long-range Dependency)을 통해 사라진 개체를 복원해야 한다. 이는 모델로 하여금 더 강력한 논리적 일관성 추적 능력을 발전시키도록 강제하며, 추론 능력 창발의 핵심 압력원 중 하나이다.

3.1 8개 주요 언어의 모호성 지수 순위

IV 단일 특성의 3층 효과

본 논문은 통합 이론 프레임워크를 제안한다: 언어의 모호성이라는 단일 특성이 세 가지 다른 층위에서 세 가지 다른 효과를 동시에 발생시키며, 이 세 가지 효과는 분리할 수 없다.

이 세 층의 효과는 동일한 기저 특성에 의해 구동되며 독립적으로 조절할 수 없다. 중국어 훈련이 가져오는 추론 능력 향상을 누리면서 동시에 중국어 추론이 초래하는 계산 비용 증가를 회피할 수는 없다—이 둘은 같은 동전의 양면이다.

V Temperature 증폭 효과

Temperature 파라미터의 중국어-영어 Top-K 격차 증폭 효과는 비선형적 성장을 보인다. 낮은 Temperature(T≤0.7)는 확률 분포를 압축하여 모든 언어를 결정론적 출력으로 수렴시키고 격차를 좁힌다. T=1.0에서 격차가 나타난다. T≥1.2에서 격차가 폭발적으로 증가한다—Temperature가 분포를 평탄화할 때, 이미 평탄한 중국어 분포가 더욱 비수렴적으로 변하기 때문이다. 아래 표는 Zipf 분포에 기반한 예시적 시뮬레이션이며, 절대값은 실측 결과로 이해해서는 안 되지만, 추세의 방향은 견고하다:

VI 시사적 사례: DeepSeek과 중국어 훈련 압력 가설

DeepSeek 시리즈는 본 논문의 가설과 양립 가능한 시사적 사례를 제공한다—그러나 단독으로 인과관계를 증명할 수는 없다. DeepSeek-V4(2026년 4월 출시)는 32T 이상의 토큰으로 사전훈련되었으며^[6], 총 파라미터 1.6조(토큰당 49B 활성화), Codeforces 레이팅 3206을 달성했다—경쟁적 프로그래밍에서 클로즈드 소스 모델에 필적하는 최초의 오픈소스 모델이 되었다^[7]. 주목할 점은 DeepSeek의 사전훈련 코퍼스가 “영어와 중국어를 주축으로 한 다국어 코퍼스”로 기술되지만, 구체적인 언어 비율은 공개된 적이 없다는 것이다^[8]. 따라서 본 논문은 DeepSeek이 “중국어 코퍼스 주도” 모델이라고 가정하지 않으며, 단지 중국 기술 생태계에서 성장하고 중국어 능력이 뛰어나며 추론 능력이 탁월한 사례로 다룬다.

전통적 설명은 DeepSeek의 성공을 MoE 아키텍처, 하이브리드 어텐션 메커니즘(CSA/HCA), 강화학습, 합성 데이터 증류, 엔지니어링 최적화에 귀인한다. 중국어 온라인 커뮤니티에서는 중국어 훈련 데이터의 높은 정보 밀도가 논리적 능력 향상에 기여한다고 논의되었지만, 해당 논의는 “정보 밀도”의 표면에 머물러 있으며 본 논문이 제안하는 “모호성 주도 추론 창발”의 심층 메커니즘에는 미치지 못한다. 본 논문의 프레임워크는 가능한 보완적 설명을 제공한다(주의: 이것은 여러 가능한 요인 중 하나이지 유일한 요인이 아니다):

이는 더 일반적인 질문에 대한 보완적 설명을 제공한다: 중국어 능력이 뛰어난 이중언어/다국어 모델이 영어, 수학, 코딩 과제에서도 강한 추론 성능을 보이는 이유는 무엇인가? 본 논문의 답변은—이것은 “영어도 잘하는 것”이 아니라, 기저 추론 능력이 강한 것이며, 영어는 단지 그 능력의 수혜자라는 것이다. 마치 고지대에서 훈련한 운동선수가 평지에서 경기할 때도 그 향상된 산소 운반 능력의 이점이 어떤 고도에서든 유효한 것과 같다.

이 프레임워크는 또한 검증 가능한 추론을 제시한다: 중국어 훈련이 실제로 더 강한 소거 능력을 발전시킨다면, Chain-of-Thought(CoT) 추론 시 중국어를 “사고 언어”로 사용하는 것이 영어를 사용하는 것보다 더 깊은 탐색을 촉발할 수 있다. 주목할 점은 DeepSeek-R1이 언어 일관성을 강제했을 때 성능 저하를 보였으며^[16], 자유로운 언어 혼용(code-switching)이 더 강한 추론 성능과 정적으로 상관관계를 보인다는 것이다—이는 모델이 서로 다른 언어의 모호성 공간 사이를 전환하며 최적의 추론 경로를 탐색하는 것으로 해석할 수 있다.

VII 산업적 맹점과 가격 패러독스

본 논문의 프레임워크는 현재 AI 산업에서 과소평가되고 있을 수 있는 네 가지 구조적 문제를 드러낸다:

VIII 검증 가능한 실험 설계

본 논문에서 제시한 가설은 다음 실험 설계를 통해 검증할 수 있다:

실험 1: Top-K 분포 실측

동일 모델에 대해, 의미적으로 동등한 8개 언어 텍스트를 입력하고(예: 병렬 코퍼스 활용), 동일 Temperature 및 Top-P 하에서 각 토큰 위치의 완전한 확률 분포와 유효 Top-K 값을 기록한다. 8개 언어의 Top-K 분포 차이를 횡단적으로 비교하여 언어 모호성 지수와 양의 상관관계가 있는지 검증한다.

실험 2: 훈련 언어 인과 실험

통제 변인 실험—동일 모델 아키텍처, 동일 파라미터 수, 동일 훈련 토큰 수에서 순수 중국어, 순수 영어, 순수 일본어, 순수 독일어 코퍼스로 각각 4개 모델을 훈련한 후, 완전히 언어 비의존적인 과제(수학적 추론, 추상 논리, 기호 연산)에서 성능을 비교한다. 중국어 훈련 모델이 비언어적 추론 과제에서 선두를 보인다면, 이는 훈련 압력 가설에 대한 인과적 증거를 제공한다.

실험 3: Temperature 응답 곡선 실험

Temperature가 0.1에서 2.0까지 연속적으로 변화할 때, 각 언어의 엔트로피 성장 곡선, K_eff 성장 곡선, 출력 품질 저하 곡선을 측정한다. 본 논문은 고모호성 언어의 “품질 붕괴점”이 저모호성 언어보다 반드시 높거나 낮다고 전제하지 않는다—높은 기저 엔트로피는 더 이른 붕괴(균등 분포에 더 가깝기 때문)를 의미할 수도 있고, 더 강한 구조적 회복력(모델이 이미 고모호성 환경에서 일관성을 유지하는 법을 학습했기 때문)을 의미할 수도 있다. 어떤 예측이 맞는지는 실측으로 결정되어야 한다. 권장 측정 지표로는: H(T), K_eff@0.9(T), dH/dT(Temperature에 대한 엔트로피 민감도), dK_eff/dT(유효 Top-K 확장 속도)가 포함된다. 서로 다른 토크나이제이션 방식으로 인한 비교 불가능성을 피하기 위해 bits-per-byte(BPB)를 교차 언어·교차 토크나이저 정규화 지표로 사용할 것을 권장한다.

실험 4: 혼합 코퍼스 최적 비율

훈련 코퍼스에서 고모호성 언어(중국어/일본어)와 저모호성 언어(영어/독일어)의 비율을 체계적으로 조절하고, 하류 추론 과제 성능에 대한 영향 곡선을 측정하여 최적 혼합 비율을 탐색한다.

실험 5: 최소 실행 가능 실험 (모델 훈련 불필요)

위 실험들은 비용이 높다. 다음 방안은 기존 오픈소스 모델에서 즉시 실행할 수 있다: Qwen, Llama, Gemma, DeepSeek 등 다양한 아키텍처 모델을 선택하고; 병렬 코퍼스(예: Flores-200)를 사용하여 의미적으로 동등한 다국어 입력을 확보하고; 각 문장에 대해 토큰별로 teacher forcing을 수행하며 각 단계의 완전한 logits를 기록하고; 각 위치의 엔트로피, K_eff@0.9, K_eff@0.95, top-1 확률, 분포 지니 계수를 계산하고; 언어 차이를 횡단적으로 비교한다. 이 실험은 GPU 클러스터가 필요 없이 단일 GPU로 수행 가능하며, 일주일 이내에 본 논문의 핵심 가설에 대한 예비적 검증 또는 반증을 제공할 수 있다.

실험 6: CoT 언어 선택 실험

중국어 훈련이 실제로 더 강한 소거 능력을 발전시킨다면, Chain-of-Thought 추론 시 모델이 자유롭게 사고 언어를 선택(code-switching)하도록 허용하는 것이 단일 언어 강제보다 우월할 수 있다. 동일 추론 과제에 대해 모델에게 순수 중국어 CoT, 순수 영어 CoT, 자유 혼합 CoT를 각각 사용하도록 하여 수학 및 논리 과제에서의 정확도 차이를 비교하는 실험을 설계할 수 있다.

실험 7: 추론 유형 분해 실험

서로 다른 언어적 특성이 서로 다른 유형의 추론에 각기 다른 영향을 미칠 수 있다. “추론”을 인과 추론, 수학적 추론, 공간 추론, 시간 추론, 추상 기호 연산 등의 하위 유형으로 분해하고, 고모호성 언어로 훈련된 모델의 각 하위 유형별 성능 차이를 개별적으로 측정할 것을 권장한다. 중국어의 높은 생략률은 특히 인과 추적 능력(사라진 주어의 복원이 필요)을 향상시킬 수 있지만, 순수 수학적 추론의 향상은 제한적일 수 있다.

실험 8: 문맥 창 의미 커버리지 실험

중국어의 각 토큰이 더 많은 의미 내용을 담고 있다면, 동일 토큰 수의 문맥 창이 중국어에서 더 넓은 의미 범위를 커버한다. 이 요인은 모호성과 독립적으로 더 나은 추론 성능을 설명할 수 있다. 동일 토큰 수 문맥 창 하에서, 장문서 이해 및 다단계 추론 과제에서의 언어별 모델 성능 차이를 측정하여 “의미 밀도 효과”와 “모호성 효과”를 분리할 것을 권장한다.

IX 다국어 사용자의 AI 상호작용 이점

본 논문 프레임워크의 하나의 추론은 다국어 사용자—특히 서로 다른 모호성 기울기를 넘나드는 다국어 사용자—가 AI 상호작용에서 구조적 이점을 가진다는 것이다. 이 추론은 신경과학적 증거로 뒷받침된다: 이중언어 및 다국어 사용자는 과제 전환 정확성, 인지적 유연성, 추상적 기호 사고에서 향상된 인지 능력을 보인다^[9][10][11]. 연구에 따르면, 언어 전환에 필요한 인지적 유연성이 뇌로 하여금 다양하고 새로운 관점을 탐색하는 데 더 능숙하게 만든다^[12]. 또한 중국어 특유의 인과 순서 선호가 모델에 의해 내재화되어 경직되게 적용되며, 입력 구조가 표준 표현에서 벗어날 때 추론 정확도가 하락한다^[13]. 이는 모델 내부에서 서로 다른 언어의 처리 경로에 구조적 차이가 존재함을 추가로 확인해 준다.

그러나 본 논문은 이전에 논의되지 않았던 하나의 차원을 지적한다: 다국어 사용자는 더 유연한 사고력뿐만 아니라, AI의 서로 다른 응답 모드를 촉발하기 위해 어떤 언어를 사용할지 선택하는 능력도 보유하고 있다. 고모호성 언어를 입력으로 사용하면 모델이 더 큰 확률 공간에서 탐색하도록 강제하여, 잠재적으로 더 깊이 있는 응답을 산출할 수 있다. 이것은 단일언어 사용자에게는 없는 “언어 무기 선택” 능력이다.

X 반례와 대안적 설명

본 논문의 가설 프레임워크의 신뢰성을 강화하기 위해, 이하에서 핵심 명제를 약화시키거나 반박할 수 있는 반례와 대안적 설명을 열거한다. 모든 진지한 후속 연구는 이러한 대안 가설을 우선적으로 배제해야 한다:

본 논문은 검증된 결론을 제공하는 것이 아니라, 검증할 가치가 있는 가설을 제안하는 것으로 자리매김한다. 위 대안적 설명 중 어느 하나라도 주된 요인으로 확인된다면, 본 논문의 핵심 명제가 약화될 것이다. 이것이 바로 반증 가능성의 체현이다.

XI 결론

본 논문의 핵심 기여는 세 가지 상호 관련된 독창적 명제이다:

명제 1 (Top-K 분기 명제): 동일 Temperature 및 Top-P 설정 하에서, 서로 다른 언어의 유효 Top-K 값은 자릿수 차이를 보이며, 해당 언어의 모호성 지수와 양의 상관관계를 갖는다.

명제 2 (훈련 압력 명제): 고모호성 언어가 훈련 코퍼스로 사용될 때, 더 높은 조건부 엔트로피의 학습 환경을 구성하여 모델이 더 강한 문맥 통합 및 소거 능력을 발전시키도록 유도할 수 있다; 이러한 능력이 비언어적 추론 과제로 교차 언어 전이되는지는 통제 변인 실험을 통한 검증이 필요하다.

명제 3 (3층 통합 명제): 언어적 모호성은 인간 소통 효율성, LLM 훈련 능력 창발, LLM 추론 계산 비용이라는 세 가지 층위에서 동일한 근원에서 비롯되지만 방향이 다른 효과를 발생시키며, 이 셋은 분리할 수 없다.

본 논문의 모든 수치는 실제 모델 실험을 통한 검증이 필요한 이론적 추정값이다. 그러나 우리는 본 논문이 제시하는 이론적 프레임워크와 검증 가능한 가설이, 언어적 특성이 LLM 추론 능력에 어떻게 심층적으로 영향을 미치는지 이해하는 데 근본적으로 새로운 시각을 제공한다고 믿는다.

XII 외부 데이터 주석