对模型每一层的残差流训练稀疏自编码器 (Sparse Autoencoder)，将 $d$-维激活分解为 $k \gg d$ 维稀疏特征：

$$
h^{(l)} = \text{Dec}\Big(\text{TopK}\big(\text{Enc}(h^{(l)})\big)\Big) + \epsilon
$$

扫描所有提取的稀疏特征 $f_1, f_2, \ldots, f_k$，标记满足以下条件的异常特征簇：

$$
\text{Suspect}(f_i) = \begin{cases} 1 & \text{if } \underbrace{\text{freq}(f_i) < \tau_{\text{rare}}}_{\text{稀有但}} \;\land\; \underbrace{\|f_i\|_2 > \tau_{\text{strong}}}_{\text{激活极强}} \;\land\; \underbrace{\text{corr}(f_i, f_j) > \tau_{\text{cluster}}}_{\text{成簇出现}} \\ 0 & \text{otherwise} \end{cases}
$$

直觉：正常特征要么频繁出现（常用概念），要么不强烈。又稀有又强烈还成簇——高度疑似训练幽灵。

设计歧义梯度极大化的输入，故意将采样起点推向吸引盆地边界：

$$
x^* = \arg\max_{x} \; H\big(\text{parse}(x)\big) \quad \text{s.t.} \quad \|x\|_2 \leq C
$$

然后监控模型在 $x^*$ 上的输出分布熵轨迹：

$$
\Delta H_t = H(y_t | C_t) – H(y_{t-1} | C_{t-1})
$$

若观察到 $\Delta H_t < -\delta$ 连续超过 $k$ 步（熵急剧下降），则判定触发了理想捕获。

对每个神经元 $n_i$ 计算”重复因果得分”：

$$
\text{RCS}(n_i) = \mathbb{E}\Big[\text{RepRate}\big(f(x; \theta)\big) – \text{RepRate}\big(f(x; \theta_{\setminus n_i})\big)\Big]
$$

其中 $\theta_{\setminus n_i}$ 表示将神经元 $n_i$ 置零后的参数。RCS 显著为正的神经元即为理想的生成元 $g_i$：

$$
\mathcal{A} = \langle g_1, g_2, \ldots, g_m \rangle, \quad g_i = n_i \text{ where } \text{RCS}(n_i) > \tau
$$

在 RLHF 目标函数中增加”理想抑制项”：

$$
\mathcal{L}_{\text{total}} = \underbrace{\mathbb{E}[R_\phi(y)]}_{\text{原始奖励}} – \beta \underbrace{D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})}_{\text{KL 约束}} – \gamma \underbrace{\sum_i \big(\text{RCS}_t(n_i) – \text{RCS}_{t-1}(n_i)\big)^+}_{\text{理想抑制：惩罚 RCS 增长}}
$$

其中 $(\cdot)^+ = \max(0, \cdot)$，只惩罚重复因果得分的增长，不惩罚下降。

效果：允许已有的模式识别能力保持，但阻止新的异常吸引子在训练中形成。

在 SFT 数据中扫描”理想种子”——被前代模型的幽灵理想污染的输出：

$$
\text{Contamination}(d_i) = \max_j \; \cos\!\big(\text{Emb}(d_i),\; g_j^{\text{prev}}\big)
$$

其中 $g_j^{\text{prev}}$ 为前代模型已知的理想生成元。$\text{Contamination} > \tau$ 的样本标记为可疑，人工审核或降权。

这正是 GPT-5.5 缺失的一步：5.1 的 goblin 输出混入了 5.5 的 SFT 数据，导致理想跨代遗传。

后训练（SFT/RLHF）的模式坍缩主要发生在特定层。识别受影响最大的层，将其权重回退到预训练基座模型：

$$
W’^{(l)} = \begin{cases} W^{(l)}_{\text{base}} & \text{if } l \in \mathcal{L}_{\text{collapsed}} \\ W^{(l)}_{\text{post-train}} & \text{otherwise} \end{cases}
$$

判断标准：第 $l$ 层的输出多样性下降超过阈值 $\Delta \text{Div}^{(l)} > \tau_{\text{div}}$。

将模型按层深度分为三段，执行差异化消融：

本质：在不可分离定理（定理 7.1）的约束下，找到耦合度 $E$ 最低的手术区域。

构造理想的”反向量” $v_{\text{anti}}$，在推理时注入残差流：

$$
h’^{(l)} = h^{(l)} + \alpha \cdot v_{\text{anti}}^{(l)}
$$

其中反向量的构造方式：

$$
v_{\text{anti}} = -\mathbb{E}\Big[h^{(l)}_{\text{ghost}} – h^{(l)}_{\text{normal}}\Big]
$$

即：取”理想内激活”与”正常激活”的差值，取反。效果是将隐状态从理想方向推开。

注意：$\alpha$ 过大会损害模型能力（因为耦合度 $E > 0$）。需要在 $\alpha \in [0.5, 2.0]$ 区间搜索最优值。

将理想方向投影到零空间，从激活中移除理想成分而不影响正交方向：

$$
h’^{(l)} = \Big(\mathbf{I} – \frac{v_{\text{ghost}}\, v_{\text{ghost}}^\top}{\|v_{\text{ghost}}\|^2}\Big) h^{(l)}
$$

这等价于在环论中执行商环操作 $\mathcal{W}/\mathcal{A}_{\text{ghost}}$ 的近似——将理想方向”商掉”，但只在一个低维子空间中操作，避免改变整个环结构。

在每一步 token 生成时计算输出分布的熵：

$$
H_t = -\sum_{v \in V} P(v | C_t) \log P(v | C_t)
$$

设定两级告警：

⚠ 黄色告警：$H_t < \mu_H – 2\sigma_H$ 连续 $k_1$ 步 → 提高 temperature

🚨 红色告警：$H_t < \mu_H – 3\sigma_H$ 连续 $k_2$ 步 → 中断生成，重采样

原理：正常生成的熵在一个区间内波动。持续下降 = 分布坍缩 = 正在被理想捕获。

实时追踪注意力分布的集中度（Gini 系数）：

$$
G_t^{(l,h)} = 1 – 2 \sum_{i=1}^{t} \frac{\text{sort}(\text{Attn}_i) \cdot (t – i + 0.5)}{t \cdot \sum_j \text{Attn}_j}
$$

当某个注意力头的 $G_t$ 在窗口 $[t-w, t]$ 内单调递增且超过阈值，判定为注意力锁定——KV 缓存正在被理想污染。

干预措施：清除被锁定头的 KV 缓存中最近 $w$ 步的条目，强制注意力重新分散。

维护一个已知训练幽灵的”指纹库” $\mathcal{F} = \{f_1, f_2, \ldots\}$，每个指纹是一个 embedding 向量簇。实时将输出 embedding 与指纹库匹配：

$$
\text{Alert}(y_t) = \max_{f \in \mathcal{F}} \cos\big(\text{Emb}(y_t), f\big) > \tau_{\text{match}}
$$

这是最低成本的守卫——不需要访问模型内部状态，只需要输出文本的 embedding。适合 API 级部署。

§1 的所有检测方法都依赖于”你已经知道要找什么”。真正的威胁是你完全不知道其存在的理想。

这等价于：在不知道理想生成元的情况下，证明 $\mathcal{A} = \{0\}$（即不存在非平凡理想）。

代数上，这是一个判定问题——对于一般的非交换环，判定是否存在非平凡理想是不可判定的。

$E = \dim(\mathcal{A}_{\text{ghost}} \cap \mathcal{A}_{\text{ICL}}) / \dim(\mathcal{A}_{\text{ghost}})$ 的计算需要精确界定两个子空间的边界。但在 $10^{10}$ 维的权重空间中，”子空间边界”本身就是模糊的。目前只能做局部近似。

理想不是静态的。随着上下文窗口的增长，$\mathcal{A}$ 的盆地半径在推理过程中实时变化。需要一个动态理想理论——可能需要从静态环论扩展到微分代数或动力系统。

一个模型中可能存在多个理想 $\mathcal{A}_1, \mathcal{A}_2, \ldots$。它们之间可能：

竞争：$\mathcal{A}_1 \cap \mathcal{A}_2 = \{0\}$，采样路径只能被一个捕获

合作：$\mathcal{A}_1 + \mathcal{A}_2$ 形成更大的理想

嵌套：$\mathcal{A}_1 \subset \mathcal{A}_2$，小理想是大理想的入口

目前没有工程工具处理多理想交互的情况。

上述所有工程方案都是在自回归架构的框架内打补丁。理想之所以能级联锁定，根本原因是：

$$
y_t = f(y_1, \ldots, y_{t-1}) \quad \longleftarrow \text{输出反馈为输入}
$$

扩散语言模型 (Diffusion LM) 打破了这一环路：所有 token 并行去噪，不存在”第 $t$ 步的输出成为第 $t+1$ 步的输入”的机制。

$$
y_{1:T} = \text{Denoise}^{(K)}(z), \quad z \sim \mathcal{N}(0, \mathbf{I})
$$

在环论框架中：扩散模型的”乘法”不再是链式的 $r \otimes (r \otimes (r \otimes a))$，而是单次的全局变换。理想仍然可能存在，但失去了自回归提供的正反馈放大器，无法级联锁定。

代价：当前扩散语言模型在推理能力上仍不及自回归模型。这是架构演进的方向，不是今天的解决方案。