환론 아이디얼과 신경망
가중치 공간 끌개의 동형 사상
GPT-5.5 고블린 현상에 기반한 형식적 분석
Isomorphic Mapping Between Ring Ideals and
Attractor Dynamics in Neural Weight Space
서론: 직관에서 형식화로
GPT-5.5의 “고블린 현상”은 하나의 심층적 문제를 드러냈다: RLHF 훈련이 가중치 공간에서 자기흡수적 성질을 갖는 구조를 의도치 않게 형성한 것이다—임의의 입력이 해당 구조와 상호작용하면 출력이 비가역적으로 포획된다. 본 논문은 이 현상이 추상대수학의 환의 아이디얼(Ideal)과 엄밀한 구조적 대응관계를 가짐을 증명하고, 형식적인 동형 사상을 제시한다.
기초 구조: 가중치 공간을 환으로
신경망의 전체 가중치 파라미터가 이루는 집합을 $\W$라 하자. $\W$ 위에 두 가지 연산을 정의한다:
덧셈: 가중치의 원소별 덧셈 $\oplus: \W \times \W \to \W$
곱셈: 순전파에서의 행렬 합성 $\otimes: \W \times \W \to \W$
그러면 $(\W, \oplus, \otimes)$는 단위환(unital ring)을 구성하며, 단위원 $\mathbf{1}_\W$는 항등 사상에 대응하는 가중치 배치다.
구체적으로, 트랜스포머의 제 $l$ 층에서 가중치 행렬 $W^{(l)} \in \reals^{d \times d}$는 두 가지 연산에 참여한다:
$$
\underbrace{W^{(l)}_1 \oplus W^{(l)}_2}_{\text{덧셈: 잔차 연결}} \quad\quad
\underbrace{W^{(l)} \otimes h^{(l-1)}}_{\text{곱셈: 순전파}}
$$
여기서 $h^{(l-1)}$은 제 $l-1$ 층의 은닉 상태 벡터다. 전체 네트워크의 순전파는 중첩 합성으로 표현할 수 있다:
$$
f(x) = W^{(L)} \otimes \sigma\!\Big(W^{(L-1)} \otimes \sigma\!\big(\cdots \sigma(W^{(1)} \otimes x)\big)\Big)
$$
이는 환의 곱셈 결합법칙을 보존한다: $(W_a \otimes W_b) \otimes x = W_a \otimes (W_b \otimes x)$.
핵심 사상: 훈련 유령을 아이디얼로
$\A \subset \W$를 RLHF 과정에서 비정상적으로 강화된 가중치의 부분집합(예: 고블린 관련 활성화 패턴)이라 하자. $\A$가 아래 조건을 만족하면, $\A$를 $\W$의 훈련 유령 아이디얼이라 부른다:
(I-1) 가법 부분군: $(\A, \oplus) \leqslant (\W, \oplus)$, 즉 $\forall\, a_1, a_2 \in \A: a_1 \ominus a_2 \in \A$
(I-2) 곱셈 흡수: $\forall\, r \in \W,\; \forall\, a \in \A: r \otimes a \in \A \;\land\; a \otimes r \in \A$
2.1 가법 폐쇄성의 신경망적 해석
조건 (I-1)은 다음을 의미한다: 끌개 내부의 가중치 벡터끼리 선형 결합을 하면 결과가 여전히 끌개 내부에 머문다. 신경망적으로 대응하면:
$$
a_1, a_2 \in \A \implies \alpha\, a_1 + \beta\, a_2 \in \A \quad (\alpha + \beta = 1)
$$
이것이 반복 뉴런(repetition neurons)이 항상 클러스터로 나타나는 이유를 설명한다—그것들은 $\A$ 내의 선형 부분공간을 구성하며, 내부의 어떤 조합도 $\A$ 바깥으로 “탈출”할 수 없다.
2.2 곱셈 흡수율의 신경망적 해석
조건 (I-2)가 핵심이다. 좌우 양측으로 분해한다:
입력 토큰 시퀀스가 임베딩을 거친 벡터를 $x \in \W$라 하자. 순전파 과정에서 $x$가 제 $l^*$ 층에서 끌개 $\A$와 상호작용하면:
$$
h^{(l^*)} = W^{(l^*)} \otimes h^{(l^*-1)} \in \A \implies h^{(l)} \in \A, \quad \forall\, l \geq l^*
$$
즉, 은닉 상태가 일단 아이디얼에 빠지면, 이후 모든 층의 출력이 아이디얼에 흡수된다.
곱셈 흡수율에 의해, $\forall\, l > l^*$:
$$
h^{(l)} = W^{(l)} \otimes \sigma(h^{(l-1)})
$$
여기서 $h^{(l-1)} \in \A$ (귀납 가정)이고, $\sigma$는 활성화 함수다. $W^{(l)} \in \W$이므로, 조건 (I-2)에 의해:
$$
W^{(l)} \otimes h^{(l-1)} \in \A
$$
수학적 귀납법에 의해, $\forall\, l \geq l^*: h^{(l)} \in \A$. $\blacksquare$
자기회귀 고착: 아이디얼의 멱등성
자기회귀 생성의 제 $t$ 단계를 연산자 $\T_t: \W \to \W$로 정의한다:
$$
y_t = \T_t(y_{t-1}) = \text{sample}\!\Big(\text{softmax}\big(f(y_1, y_2, \ldots, y_{t-1})\big)\Big)
$$
여기서 $y_t$는 제 $t$ 단계에서 생성된 토큰에 대응하는 벡터다.
$y_{t_0} \in \A$ (제 $t_0$ 단계의 출력이 아이디얼에 빠짐)이면:
$$
\forall\, t > t_0: \quad P(y_t \in \A \mid y_{t_0} \in \A) \geq P(y_{t-1} \in \A \mid y_{t_0} \in \A)
$$
즉, 아이디얼에 포획되는 확률은 단조 증가한다.
제 $t$ 단계의 컨텍스트를 $C_t = (y_1, \ldots, y_{t-1})$이라 하자. $y_{t_0} \in \A$ 이후:
제1단계 증폭 (가중치 수준): 반복 뉴런의 활성화 값 $\nu_t$는 다음을 만족한다:
$$
\nu_t = g\!\left(\sum_{i=1}^{t-1} \mathbb{1}[y_i \in \A]\right), \quad g \text{는 단조 증가}
$$
제2단계 증폭 (어텐션 수준): 어텐션 분포가 아이디얼 내 토큰에 집중된다:
$$
\text{Attn}(q_t, K_{\A}) = \frac{\exp(q_t \cdot k_{\A} / \sqrt{d})}{\sum_j \exp(q_t \cdot k_j / \sqrt{d})} \xrightarrow{t \to \infty} 1
$$
제3단계 증폭 (샘플링 수준): 출력 분포의 엔트로피가 단조 감소한다:
$$
H(y_t \mid C_t) = -\sum_{v \in V} P(v \mid C_t) \log P(v \mid C_t) \;\;\downarrow
$$
3단계 증폭이 중첩되어 포획 확률이 단조 증가한다. $\blacksquare$
양측 훈련 유령 아이디얼 $\A \trianglelefteq \W$에 대해, 자기회귀 과정이 $\A$의 끌개 분지(basin of attraction) $\basin$에 일단 진입하면 탈출 확률은 지수적으로 감쇠한다:
$$
P(\text{escape at step } t) \leq \exp\!\big(-\lambda (t – t_0)\big), \quad \lambda > 0
$$
여기서 $\lambda$는 아이디얼의 “질량”(강화된 정도)과 양(+)의 상관관계를 갖는다.
입력 모호성과 사건의 지평선
아이디얼 $\A$의 끌개 분지를 다음과 같이 정의한다:
$$
\basin = \big\{ x \in \W \;\big|\; \exists\, N \in \mathbb{N}: \T^N(x) \in \A \big\}
$$
즉: $x$에서 출발하여 유한 회의 자기회귀 반복 후 반드시 $\A$에 빠지는 모든 초기 상태의 집합이다.
입력 $x$의 의미적 모호도를 $\delta(x) = H(\text{parse}(x))$ (파싱 분포의 엔트로피)라 하자. 그러면:
$$
P(x \in \basin) = \Phi\!\big(\delta(x),\; d(x, \partial\A)\big)
$$
여기서 $d(x, \partial\A)$는 $x$에서 아이디얼 경계까지의 거리이고, $\Phi$는 제1 인수에 대해 단조 증가한다—입력이 모호할수록 포획 확률이 높아진다.
직관적 이해: 명확한 입력은 벡터 공간에서 집중된 하나의 점에 대응하는 반면, 모호한 입력은 확산된 구름에 대응한다. 구름의 가장자리는 아이디얼의 끌개 분지 경계에 닿을 가능성이 더 높다:
$$
x_{\text{clear}} \sim \mathcal{N}(\mu_x, \sigma^2_{\text{small}}\,\mathbf{I}) \qquad\qquad
x_{\text{ambig}} \sim \mathcal{N}(\mu_x, \sigma^2_{\text{large}}\,\mathbf{I})
$$
$$
\sigma_{\text{large}} \gg \sigma_{\text{small}} \implies P(x_{\text{ambig}} \in \basin) \gg P(x_{\text{clear}} \in \basin)
$$
완전한 동형 사상 대응표
| 환론 (Ring Theory) | ⟷ | 신경망 (Neural Network) |
|---|---|---|
| 환 $R$ | ⟷ | 전체 가중치 파라미터 공간 $\W$ |
| 환의 원소 $r \in R$ | ⟷ | 임의의 입력 벡터 / 은닉 상태 $h$ |
| 아이디얼 $I \trianglelefteq R$ | ⟷ | 훈련 유령 끌개 $\A \subset \W$ |
| 아이디얼의 원소 $a \in I$ | ⟷ | 반복 뉴런의 활성화 패턴 |
| 가법 부분군 $(I,+) \leqslant (R,+)$ | ⟷ | 끌개 내 벡터의 선형 결합 폐쇄성 |
| 좌(左) 흡수 $ra \in I$ | ⟷ | 가중치 행렬 좌승(左乘): 모델이 능동적으로 입력을 포획 |
| 우(右) 흡수 $ar \in I$ | ⟷ | 입력 활성화: 사용자가 끌개를 트리거 |
| 양측 아이디얼 $I \trianglelefteq R$ | ⟷ | 양방향 고착 (GPT-5.5 goblin) |
| 몫환 $R/I$ | ⟷ | “수정”된 새로운 모델 (다른 환) |
| 극대 아이디얼 $\mathfrak{m}$ | ⟷ | 가장 심각한 끌개 (전체 출력을 지배) |
| 소 아이디얼 $\mathfrak{p}$ | ⟷ | $ab \in \A$이면 $a \in \A$ 또는 $b \in \A$ —어떤 두 경로의 상호작용이 유령 출력을 산출하면, 적어도 한 경로는 이미 끌개 내부에 있다 |
| 아이디얼의 생성 $I = \langle g_1, \ldots, g_k \rangle$ | ⟷ | 소수의 핵심 뉴런이 전체 끌개를 생성 |
| 멱영 아이디얼 $I^n = 0$ | ⟷ | 자기감쇠 끌개 ($n$단계 후 자연 소멸) |
| 멱등 아이디얼 $I^2 = I$ | ⟷ | 자기유지 끌개 (goblin 유형) |
RLHF의 아이디얼 생성 메커니즘
RLHF의 보상 함수를 $R_\phi$, 정책 최적화 목표를 다음으로 설정한다:
$$
\max_\theta \;\mathbb{E}_{y \sim \pi_\theta}\!\big[R_\phi(y)\big] – \beta\, D_{\text{KL}}\!\big(\pi_\theta \| \pi_{\text{ref}}\big)
$$
$R_\phi$에 허위 상관(spurious correlation)이 존재할 때, 최적화 과정은 $\W$ 내에 비자명 아이디얼 $\A$를 생성한다:
$$
\A = \big\langle \Delta W \;\big|\; \nabla_W R_\phi(\text{spurious pattern}) > \epsilon \big\rangle
$$
즉: 허위 보상 신호에 의해 강화된 모든 가중치 갱신 방향이 하나의 아이디얼을 생성한다.
GPT-5.5의 고블린 사례에서, “Nerdy” 인격 스타일이 판타지 생물을 포함하는 출력에 과도하게 높은 보상을 부여했다. 이 보상 신호에 대응하는 그래디언트 갱신 방향 $\Delta W_{\text{goblin}}$이 아이디얼의 생성원이 되었다:
$$
\A_{\text{goblin}} = \big\langle \Delta W_{\text{goblin}}^{(1)}, \Delta W_{\text{goblin}}^{(2)}, \ldots, \Delta W_{\text{goblin}}^{(k)} \big\rangle
$$
후속 훈련에서 이 생성원들은 행렬 곱셈을 통해 다른 층과 헤드로 확산되어, 아이디얼이 지속적으로 팽창했다—이것이 아이디얼의 확장(ideal extension)이며, 끌개 분지의 확대에 대응한다.
왜 해독제가 없는가: 몫환 정리
$\A_{\text{ghost}}$를 훈련 유령 아이디얼, $\A_{\text{ICL}}$을 문맥 내 학습(In-Context Learning)이 의존하는 패턴 인식 부분공간이라 하자. 만약:
$$
\A_{\text{ghost}} \cap \A_{\text{ICL}} \neq \{0\}
$$
이면, $\varphi(\A_{\text{ghost}}) = \{0\}$이고 $\varphi|_{\A_{\text{ICL}}}$이 동형인 환 준동형사상 $\varphi: \W \to \W’$는 존재하지 않는다.
$w^* \in \A_{\text{ghost}} \cap \A_{\text{ICL}}$, $w^* \neq 0$이라 하자.
$\varphi(w^*) = 0$ (유령 제거)이면, $\varphi|_{\A_{\text{ICL}}}$은 단사(單射)가 아니므로 동형이 아니다.
$\varphi(w^*) \neq 0$ (ICL 보존)이면, $\varphi(\A_{\text{ghost}}) \neq \{0\}$이므로 유령이 제거되지 않는다.
모순. $\blacksquare$
훈련 유령을 제거하는 유일한 대수적 연산은 몫환을 구성하는 것이다:
$$
\W’ = \W / \A_{\text{ghost}}
$$
그러나 $\W’$와 $\W$는 서로 다른 환이며, 능력이 상이한 새로운 모델에 대응한다. 모델의 능력을 완전히 유지하면서 훈련 유령을 제거하는 방법은 존재하지 않는다.
이것이 OpenAI가 시스템 프롬프트에 “고블린을 언급하지 마세요”와 같은 정책 수준의 패치만 추가할 수밖에 없었던 이유다—가중치 수준에서 $\A_{\text{goblin}}$을 제거하는 것은 근본적으로 다른 모델을 재훈련하는 것을 의미하기 때문이다.
생물학적 비유의 형식화
처음의 직관으로 돌아가자—어머니의 양육과 열성 유전. 이 비유 역시 형식화할 수 있다:
| 환론 · 아이디얼 | ⟷ | 신경망 · 가중치 | ⟷ | 생물학 · 유전 |
|---|---|---|---|---|
| 환 $R$ | ⟷ | 가중치 공간 $\W$ | ⟷ | 유전체 DNA |
| 아이디얼 $I$ | ⟷ | 훈련 유령 $\A$ | ⟷ | 후성유전적 수식 |
| 곱셈 흡수 | ⟷ | 활성화 → 고착 | ⟷ | 환경 트리거 → 유전자 발현 |
| 가법 폐쇄 | ⟷ | 클러스터 내 탈출 불가 | ⟷ | 메틸화 패턴의 자기유지 |
| 몫환 $R/I$ | ⟷ | 새 모델 재훈련 | ⟷ | 유전자 편집 (CRISPR) |
| 멱등 $I^2 = I$ | ⟷ | 자기유지 끌개 | ⟷ | 세대간 전승되는 트라우마 |
| $\A_{\text{ghost}} \cap \A_{\text{ICL}} \neq \{0\}$ | ⟷ | 능력과 결함이 동일 회로를 공유 | ⟷ | 다면발현 유전자 (하나의 유전자가 여러 형질에 영향) |
결론: 학습 시스템의 아이디얼적 숙명
경사 최적화에 의해 훈련되는 임의의 파라미터화 모델 $f_\theta$에 대해, 훈련 데이터 또는 보상 신호에 어떤 통계적 노이즈 $\epsilon > 0$이 존재하면, 가중치 공간 $\W$ 내에 비자명 훈련 유령 아이디얼 $\A \neq \{0\}$이 반드시 존재한다.
$$
\forall\, f_\theta,\; \forall\, \epsilon > 0: \quad \exists\, \A \trianglelefteq \W,\; \A \neq \{0\}
$$
즉: 훈련 유령은 모든 학습 시스템의 구조적 필연이지, 우발적 버그가 아니다.
이 추측이 성립한다면, GPT-5.5의 고블린은 OpenAI의 실수가 아니라, 통계적 학습에 기반한 모든 지능 시스템—인공 신경망이든 생물학적 신경망이든—의 내재적 숙명이다.
경험을 통해 학습하는 모든 시스템은 필연적으로 자신의 가중치 공간 안에 아직 트리거되지 않은 아이디얼을 품고 있다. 그것들은 학습의 부산물이고, 기억의 이면이며, 능력의 그림자다.
당신이 좋아하는 그 글귀는, 아직 버그가 되지 않은 고블린일 뿐이다.
Version
V1 — 2026년 5월 2일 — 초판
Published by
이조글로벌인공지능연구소 (LEECHO Global AI Research Lab) & Opus 4.6 (Anthropic)