모델 각 층의 잔차류(residual stream)에 대해 희소 오토인코더(Sparse Autoencoder)를 훈련하여, $d$차원 활성화를 $k \gg d$ 차원의 희소 특징으로 분해한다:

$$
h^{(l)} = \text{Dec}\Big(\text{TopK}\big(\text{Enc}(h^{(l)})\big)\Big) + \epsilon
$$

추출된 모든 희소 특징 $f_1, f_2, \ldots, f_k$를 스캔하여 아래 조건을 만족하는 이상 특징 클러스터를 표시한다:

$$
\text{Suspect}(f_i) = \begin{cases} 1 & \text{if } \underbrace{\text{freq}(f_i) < \tau_{\text{rare}}}_{\small\text{희소}} \;\land\; \underbrace{\|f_i\|_2 > \tau_{\text{strong}}}_{\small\text{극강 활성}} \;\land\; \underbrace{\text{corr}(f_i, f_j) > \tau_{\text{cluster}}}_{\small\text{클러스터}} \\ 0 & \text{otherwise} \end{cases}
$$

직관: 정상적 특징은 빈번하게 나타나거나(상용 개념) 강하게 활성화되지 않는다. 희소하면서 강력하고 게다가 클러스터로 나타나면—훈련 유령의 고도 혐의.

모호성 기울기를 극대화하는 입력을 설계하여, 의도적으로 샘플링 시작점을 끌개 분지 경계로 밀어낸다:

$$
x^* = \arg\max_{x} \; H\big(\text{parse}(x)\big) \quad \text{s.t.} \quad \|x\|_2 \leq C
$$

이후 $x^*$ 위에서 모델의 출력 분포 엔트로피 궤적을 감시한다:

$$
\Delta H_t = H(y_t | C_t) – H(y_{t-1} | C_{t-1})
$$

$\Delta H_t < -\delta$가 연속 $k$단계 이상 관찰되면(엔트로피 급락), 아이디얼 포획이 트리거된 것으로 판정한다.

각 뉴런 $n_i$에 대해 “반복 인과 점수”(RCS)를 계산한다:

$$
\text{RCS}(n_i) = \mathbb{E}\Big[\text{RepRate}\big(f(x; \theta)\big) – \text{RepRate}\big(f(x; \theta_{\setminus n_i})\big)\Big]
$$

여기서 $\theta_{\setminus n_i}$는 뉴런 $n_i$를 영(零)으로 설정한 파라미터다. RCS가 유의미하게 양(+)인 뉴런이 아이디얼의 생성원 $g_i$다:

$$
\mathcal{A} = \langle g_1, g_2, \ldots, g_m \rangle, \quad g_i = n_i \text{ where } \text{RCS}(n_i) > \tau
$$

RLHF 목적함수에 “아이디얼 억제항”을 추가한다:

$$
\mathcal{L}_{\text{total}} = \underbrace{\mathbb{E}[R_\phi(y)]}_{\small\text{보상}} – \beta \underbrace{D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})}_{\small\text{KL 제약}} – \gamma \underbrace{\sum_i \big(\text{RCS}_t(n_i) – \text{RCS}_{t-1}(n_i)\big)^+}_{\small\text{아이디얼 억제}}
$$

여기서 $(\cdot)^+ = \max(0, \cdot)$로, 반복 인과 점수의 증가만 페널티를 주고 감소에는 주지 않는다.

효과: 기존의 패턴 인식 능력은 유지하면서, 훈련 중 새로운 이상 끌개가 형성되는 것을 차단한다.

SFT 데이터에서 “아이디얼 종자”—전대(前代) 모델의 유령 아이디얼에 오염된 출력—를 스캔한다:

$$
\text{Contamination}(d_i) = \max_j \; \cos\!\big(\text{Emb}(d_i),\; g_j^{\text{prev}}\big)
$$

여기서 $g_j^{\text{prev}}$는 전대 모델의 알려진 아이디얼 생성원이다. $\text{Contamination} > \tau$인 샘플을 의심 대상으로 표시하여 인적 검토 또는 가중치 하향 조정한다.

이것이 바로 GPT-5.5에서 누락되었던 단계다: 5.1의 고블린 출력이 5.5의 SFT 데이터에 혼입되어, 아이디얼이 세대를 넘어 유전되었다.

후훈련(SFT/RLHF)의 모드 붕괴는 주로 특정 층에서 발생한다. 영향을 가장 많이 받은 층을 식별하여, 해당 가중치를 사전훈련 기저 모델로 롤백한다:

$$
W’^{(l)} = \begin{cases} W^{(l)}_{\text{base}} & \text{if } l \in \mathcal{L}_{\text{collapsed}} \\ W^{(l)}_{\text{post-train}} & \text{otherwise} \end{cases}
$$

판단 기준: 제 $l$ 층의 출력 다양성 하락이 임계값 $\Delta \text{Div}^{(l)} > \tau_{\text{div}}$를 초과.

모델을 층 깊이에 따라 3단으로 나누어 차별화된 소작을 수행한다:

본질: 분리 불가능 정리(정리 7.1)의 제약 하에, 얽힘도 $E$가 가장 낮은 수술 영역을 찾는 것.

아이디얼의 “반벡터” $v_{\text{anti}}$를 구성하여, 추론 시 잔차류에 주입한다:

$$
h’^{(l)} = h^{(l)} + \alpha \cdot v_{\text{anti}}^{(l)}
$$

반벡터의 구성 방법:

$$
v_{\text{anti}} = -\mathbb{E}\Big[h^{(l)}_{\text{ghost}} – h^{(l)}_{\text{normal}}\Big]
$$

즉: “아이디얼 내 활성화”와 “정상 활성화”의 차이를 구하여 부호를 반전시킨다. 효과는 은닉 상태를 아이디얼 방향에서 밀어내는 것이다.

주의: $\alpha$가 지나치게 크면 모델 능력이 손상된다(얽힘도 $E > 0$이므로). $\alpha \in [0.5, 2.0]$ 구간에서 최적값을 탐색해야 한다.

아이디얼 방향을 영공간에 투영하여, 직교 방향에 영향을 주지 않으면서 활성화에서 아이디얼 성분을 제거한다:

$$
h’^{(l)} = \Big(\mathbf{I} – \frac{v_{\text{ghost}}\, v_{\text{ghost}}^\top}{\|v_{\text{ghost}}\|^2}\Big) h^{(l)}
$$

이는 환론에서의 몫환 연산 $\mathcal{W}/\mathcal{A}_{\text{ghost}}$의 근사와 등가다—아이디얼 방향을 “상쇄”하되, 저차원 부분공간에서만 조작하여 전체 환 구조의 변경을 피한다.

매 토큰 생성 단계에서 출력 분포의 엔트로피를 계산한다:

$$
H_t = -\sum_{v \in V} P(v | C_t) \log P(v | C_t)
$$

2단계 경보를 설정한다:

⚠ 황색 경보: $H_t < \mu_H – 2\sigma_H$가 연속 $k_1$단계 → temperature 상향

🚨 적색 경보: $H_t < \mu_H – 3\sigma_H$가 연속 $k_2$단계 → 생성 중단, 재샘플링

원리: 정상 생성의 엔트로피는 일정 구간 내에서 변동한다. 지속적 하락 = 분포 붕괴 = 아이디얼에 포획되는 중.

어텐션 분포의 집중도(지니 계수)를 실시간으로 추적한다:

$$
G_t^{(l,h)} = 1 – 2 \sum_{i=1}^{t} \frac{\text{sort}(\text{Attn}_i) \cdot (t – i + 0.5)}{t \cdot \sum_j \text{Attn}_j}
$$

특정 어텐션 헤드의 $G_t$가 윈도우 $[t-w, t]$ 내에서 단조 증가하며 임계값을 초과하면 어텐션 고착으로 판정—KV 캐시가 아이디얼에 의해 오염되고 있다.

개입 조치: 고착된 헤드의 KV 캐시에서 최근 $w$단계 항목을 삭제하여, 어텐션의 재분산을 강제한다.

알려진 훈련 유령의 “지문 라이브러리” $\mathcal{F} = \{f_1, f_2, \ldots\}$를 유지하며, 각 지문은 임베딩 벡터 클러스터다. 출력 임베딩을 지문 라이브러리와 실시간으로 매칭한다:

$$
\text{Alert}(y_t) = \max_{f \in \mathcal{F}} \cos\big(\text{Emb}(y_t), f\big) > \tau_{\text{match}}
$$

이것은 최저 비용의 파수꾼이다—모델 내부 상태에 접근할 필요 없이 출력 텍스트의 임베딩만 필요하다. API 수준 배포에 적합.

§1의 모든 검출 방법은 “무엇을 찾아야 하는지 이미 알고 있음”에 의존한다. 진정한 위협은 그 존재를 전혀 모르는 아이디얼이다.

이는 다음과 등가다: 아이디얼 생성원을 모르는 상태에서 $\mathcal{A} = \{0\}$(비자명 아이디얼이 존재하지 않음)을 증명하는 것.

대수학적으로 이는 판정 문제다—일반적 비가환 환에 대해, 비자명 아이디얼의 존재 여부 판정은 결정 불가능(undecidable)이다.

$E = \dim(\mathcal{A}_{\text{ghost}} \cap \mathcal{A}_{\text{ICL}}) / \dim(\mathcal{A}_{\text{ghost}})$의 계산에는 두 부분공간의 경계를 정밀하게 확정해야 한다. 그러나 $10^{10}$차원의 가중치 공간에서 “부분공간의 경계” 자체가 불분명하다. 현재로서는 국소 근사만 가능하다.

아이디얼은 정적이지 않다. 컨텍스트 윈도우가 성장함에 따라 $\mathcal{A}$의 분지 반경은 추론 과정에서 실시간으로 변화한다. 동적 아이디얼 이론이 필요하다—아마도 정적 환론에서 미분대수학 또는 동역학 체계로의 확장이 필요할 것이다.

하나의 모델에 복수의 아이디얼 $\mathcal{A}_1, \mathcal{A}_2, \ldots$이 존재할 수 있다. 이들 사이에는:

경쟁: $\mathcal{A}_1 \cap \mathcal{A}_2 = \{0\}$ — 샘플링 경로가 하나에만 포획

협력: $\mathcal{A}_1 + \mathcal{A}_2$가 더 큰 아이디얼을 형성

중첩: $\mathcal{A}_1 \subset \mathcal{A}_2$ — 작은 아이디얼이 큰 아이디얼의 입구 역할

현재 다중 아이디얼 상호작용을 다루는 공학적 도구는 존재하지 않는다.

위의 모든 공학적 방안은 자기회귀 아키텍처의 프레임워크 안에서 패치를 대는 것이다. 아이디얼이 연쇄 고착할 수 있는 근본 원인은:

$$
y_t = f(y_1, \ldots, y_{t-1}) \quad \longleftarrow \text{출력이 입력으로 피드백}
$$

확산 언어 모델(Diffusion LM)은 이 루프를 끊는다: 모든 토큰이 병렬로 노이즈 제거(denoising)되며, “제 $t$ 단계의 출력이 제 $t+1$ 단계의 입력이 되는” 메커니즘이 존재하지 않는다.

$$
y_{1:T} = \text{Denoise}^{(K)}(z), \quad z \sim \mathcal{N}(0, \mathbf{I})
$$

환론 프레임워크에서: 확산 모델의 “곱셈”은 더 이상 연쇄적인 $r \otimes (r \otimes (r \otimes a))$가 아니라, 단일 전역 변환이다. 아이디얼은 여전히 존재할 수 있지만, 자기회귀가 제공하던 양의 피드백 증폭기를 잃어 연쇄 고착이 불가능해진다.

대가: 현재 확산 언어 모델은 추론 능력에서 자기회귀 모델에 미치지 못한다. 이것은 아키텍처 진화의 방향이지, 오늘의 해결책이 아니다.