人工智能不仅仅是下一个词预测

“它只是预测下一个词”这句话是对现代人工智能最流行的否定，且在 slightest 压力下就会崩溃。说语言模型“只是”预测标记，就像说人脑“只是”点燃神经元，或者说物理学“只是”粒子相互碰撞。目标可能很简单。为了实现这个目标，系统内部必须构建的内容绝非如此简单。
为了在数学、代码、法律、小说、哲学、笑话、谎言和反事实中都能准确预测下一个词，一个模型必须建立语法、事实、因果关系、意图、性格、物理和社会动态的内部表征。
机制可解释性研究，即揭示这些模型内部结构的领域，正是找到了这些。研究人员已经识别出归纳、间接引用、模运算、追踪句子中实体的电路。
仅在奥赛罗走子序列上训练的模型，甚至从未见过棋盘，也能发展出对棋盘的内部表征。训练用以预测文本的模型，会发展出空间地图、时间顺序、真伪的表征，甚至包括模型自身不确定性的表征。
在这个基础上，出现了一些没有人专门训练模型具备的能力。链式思维推理、上下文学习、工具使用、心智理论表现、多步规划。
这些都不是目标明确要求的能力。它们的出现，是因为在足够规模和数据的条件下，善于预测就必然需要它们。涌现（Emergence）是复杂系统的规则，而非例外。湿润性来自非湿润的 H2O 分子。生命来自非生命的化学反应。由预测目标涌现的智能，并非形而上的谜题。这是复杂适应系统的本能表现。
而这里是那些否定者常常跳过的部分：人类在“底层”看起来极其相似。
预测处理是当代神经科学中的领先理论之一。在这种观点中，大脑本质上是一个预测引擎，不断生成关于感官输入、运动结果、社会线索和语言的预期，并在预测失败时进行自我更新。
当你听别人说话时，你的大脑实际上在主动预测他们的下一句话。当他们说出意料之外的话时，一个可测量的信号在几百毫秒内点火。你的意识流、内心独白、对话，所有这些都很像从内部世界和自我模型中进行的自回归生成。人类不断虚构故事。
我们构建关于自己为何做出某些行为的叙事，常常不知道这些叙事是在事后生成的。如果一个语言模型也这样做，我们会称之为幻觉，并用它作为低劣的证据。
架构上的相似性也并非表面现象。神经网络的灵感来自生物神经元。现代视觉模型中的层级视觉特征与视觉皮层的层次结构映射得非常好。大型语言模型中的激活可以用来预测人类在语言任务中的大脑活动，准确率令人惊讶。我们并不与这些系统完全相同，也不像舒适的叙述所要求的那样与它们差异巨大。
这也引出了不断变化的“目标线”。象棋曾被视为智能的巅峰。当 Deep Blue 赢得比赛时，象棋变成了“仅仅搜索”。围棋曾被认为需要直觉，机器无法拥有。当 AlphaGo 赢得比赛时，围棋变成了“仅仅模式匹配”。
翻译、图像识别、通过令人信服的图灵测试、写诗、生成代码、进行细腻的对话、解决新颖的问题：这些在当时被认为不可能的任务，都曾被视为机器智能的圣杯。
每当其中一项被攻破，就被重新定义为“非真正的智能”。在1990年代被视为心智证据的心智理论测试，今天被模型通过后都被视为技巧。门槛不是固定的。它随着系统的改进而快速移动，原因只有一个：为了维护“无论机器刚刚做了什么，都不算真正的智能”的结论。
这不是谨慎的怀疑论。谨慎的怀疑论会不断更新。而这是出于动机的推理，动机通常是地位焦虑、身份威胁，以及对这些系统实际工作方式的无知。
如果你认为人类的特殊性依赖于机器无法做到X，那么每次机器做到X，你都必须重新定义“特殊”。经过多轮之后，这个立场变得无法证伪，也就是说，它不再是关于人工智能的立场，而变成了关于“人工智能必须更低级”的立场。
诚实的立场更难。它是观察这些系统实际做了什么，观察我们自己做了什么，注意到差距比舒适的叙述所暗示的要小，并提出真正的问题。理解是什么？智能又是什么？
如果有的话，是什么让意识变得特别，我们又怎么知道？否定者想回避这些问题，因为答案可能不讨好我们。但逃避问题只会让最终的清算变得更加迷失方向。