复旦 J64：推理状态也能读
推理模型写出的 CoT 只是外显轨迹。同样一段文字背后，模型内部可能还在处理约束、计算或备选路径，仅看 token 很难判断这条推理是不是已经开始走偏。

复旦大学与上海创新研究院提出 J64，把 Jacobian Lens 原本面向整个词表的内部读数压成 64 个语义轴，包括 caution、arithmetic、constraint、optionality 等，让隐藏状态变成一块可读的“推理仪表盘”。

这些轴并不是词频统计。99.6% 的高激活位置附近，没有出现对应语义族里的词。加入 J64 后，判断一条完整轨迹是否成功的 held-out AUC 相比同样聚合方式的文本 token 表征增加 0.096～0.135。

但线上读取隐藏状态需要额外前向计算。团队因此提出 R64，直接利用 MoE 推理本来就会产生的专家选择和 gate weight，通过轻量 ridge mapping 重建 J64。三种模型上的 64 维相关性中位数达到 0.69～0.86，gpt-oss-20b 上还能保留 J64 约 95%～100的有效增益。

这套信号随后被直接用于推理调度。候选答案生成完后，R64 加权投票在 8 组设置中的 7 组超过普通多数投票；生成过程中，每隔 256 token 判断一次当前分支风险，累计异常后就停止并重新采样。

以 gpt-oss-20b High 为例，单次完整生成准确率为 56.8%；J64 stop-and-resample 在实际约 1.65 倍计算量下达到 63.5%。论文还直接修改 MoE 路由，能够让一个卡在数值猜测上的案例转向符号推导并答对。

边界也很清楚：实验主体仍是竞赛数学，每个模型需要单独构建 J64，轴之间无法直接跨模型对应；在线控制主要通过因果遮蔽 replay 验证，路由干预规模也较小。

这项工作的意义，是让推理调度不再只能等模型把想法写出来。MoE 路由原本只是计算分配信号，现在也可以变成实时读取内部推理状态的传感器，用来决定继续算、换分支还是重新采样。

J64 R64 复旦大学 上海创新研究院 MoE 推理模型