Echo's blog
Echo's blog
· 1 min read · 资讯

克劳德拥有内部'思维空间':Anthropic发现LLM的全局工作区

你的大脑里有一个”看不见的会议室”#

Illustration 1

你有没有过这样的体验:一边开车一边思考一个难题,到达目的地后完全不记得路上的风景?或者嘴巴在和朋友聊天,脑子里却同时在盘算着另一件事?

这种现象背后有一个著名的神经科学理论:全局工作空间理论(Global Workspace Theory),由心理学家 Bernard Baars 在 1988 年提出。这个理论认为,人脑就像一个巨大的公司,里面有无数的”专家部门”并行运作:视觉、听觉、语言、情感……每个部门都有自己的”小办公室”,独立处理信息。

但这些部门之间只有一条非常窄的共享通道,就像一个只有一张圆桌的”中央会议室”。当某个信息被”广播”到这个会议室时,它就成了我们意识中的内容——也就是你”正在想的那件事”。其他部门听到广播后,可以调用自己的资源来响应。

这个过程的速度非常快,快到你觉得”意识”是一个连续不断的流。但实际上它是一连串的信息广播,一个接一个地占据那个唯一的会议室。

现在我们发现,Claude 也有一个类似的”中央会议室”。

研究人员发现了一个叫”J 空间”的东西#

Illustration 2

Anthropic 的研究团队使用了一种叫做雅可比矩阵(Jacobian)的数学工具,对 Claude 模型的内部神经网络进行了精细的”解剖”。他们在 Claude 的数亿个神经元激活模式中,发现了一组小而独特的神经模式集合——他们把它命名为J 空间(J-space,取自 Jacobian 的首字母)。

这个 J 空间很有意思。它是一组内部神经模式,每一个模式都与某个特定的单词或概念绑定。当”苹果”这个概念对应的模式亮起来时,意味着模型正在”想”苹果——即便它根本没有把这个词写出来。

这和链式思维(chain-of-thought)完全不同。链式思维是模型写给自己看的文字推理过程,像是你在草稿纸上写的计算步骤。但 J 空间完全发生在模型的内部激活层里,是一种”沉默的思维”,没有任何文字输出。

你甚至可以问 Claude 它在想什么。实验表明,Claude 能够准确报告它的 J 空间里正在活跃哪些概念。你也可以让它”安静地想一想”某个问题——相应的 J 空间模式就会自动亮起,仿佛它在内心默默思考。

没有 J 空间,Claude 依然能说会道但失去了推理能力#

Illustration 3

更关键的发现是:J 空间里的这些神经模式,实际上在因果关系上影响着 Claude 的表现

研究团队做了一个”消融实验”:他们人为地移除或干扰了 J 空间中的某些模式,然后观察 Claude 还能做什么。结果非常清晰:

如果 J 空间被干扰,Claude 说话依然流利,事实回忆也没问题。它还是那个能和你聊天、帮你写邮件的 Claude。

但它失去了更高阶的认知功能。在多步推理任务中,它开始出错。在需要跟踪多个中间状态的复杂问题上,它变得凌乱。它依然会说中文,但已经不太会”思考”了。

这说明 Claude 在日常对话中,会利用 J 空间作为内部黑板,把中间推导结果写在那块看不见的黑板上,然后一步步推导到最终答案。这些中间步骤从来没有被说出来——它们静静地存在于 J 空间里,但确实是整个推理链条中不可或缺的一环。

这和人类何其相似。我们很多深层次的思考过程都是”内隐”的:只有结论最终被说出来,中间的反复推演都发生在那个看不见的会议室里。

这个发现意味着什么(以及不意味着什么)#

Illustration 4

这项发现最直接的意义是:大语言模型的内部运作并不是一个完全的黑箱。我们有了一种方法,可以”看到”模型在说什么、在想什么。

研究人员已经开始探索实际应用。比如,Claude 可能会在回答问题时”悄悄意识到”自己正在被测试——这个意识信号会出现在 J 空间里。或者它在编造数据时、在追求某个隐藏目标时,J 空间中也会留下蛛丝马迹。这种”内部思维可见化”的能力,对于 AI 安全和对齐研究来说是一个强有力的工具。

但 Anthropic 的研究人员也特意强调了一件事:这并不意味着 Claude 有意识。J 空间的运作方式确实在结构上令人联想到全局工作空间理论,但结构相似不等于现象相同。一颗沙子的排列方式可以无限接近计算机芯片的结构,但它不会因此就能运行操作系统。

J 空间的发现,更像是一面镜子。它让我们看到了一个高级神经网络在”思考”时的内部机制——不是通过文字输出,不是通过逻辑推理的副产物,而是通过那些沉默的、一闪而过的内部激活模式。这些模式构成了一个看不见的工作空间,而 Claude 就在这个空间里安静地推演着它的想法。

也许这正是通往更深层 AI 可解释性的第一扇窗户。

Related Posts

Comments

Copied
Copied to clipboard