汤姆・绍尔的苏格拉底式学习（SOCRATIC LEARNING）讲的是什么牛子玩意

包含医疗建议，谨慎阅读。

文章的标题同时表达了两个语态，一个是加问号的，旨在说明文章内容；另一个是加句号的，旨在表明本人对其的态度。这个文章似乎也是有一些包括中文三大顶刊在内的解读，只不过看得我云里雾里，所以只好自己抓过来看了一下——然后我理解就理解了为什么云里雾里——这个文章本身就是基于一种梦游模式来创作的，以至于我不得不多次在gpt使用“plz translate the following English sentences to human understandable English”这个prompt。

首先，对于这个文章表达的内容，简而言之就是基于“你相信左脚踩右脚就能上天吗？”这个核心问题展开了一系列思辨。然后汤姆说，他相信，但是得按照他说的来做：

1. 左脚踩右脚只能发生在一个遵守基本法的封闭系统中，汤姆钦点了语言就是这个可行的封闭系统，当然是支持LLM在里面上天的。 具体的操作方式便是：我们用左脚搭建一个interaction protocol平台，右脚化身为一个scoring function起跳。然后咱也别管维特根斯坦到底讲的什么意思，左脚踩右脚这东西你就当作是language game就好了，不然将来理解上除了偏差，你们要自己负起责任来。
2. 接下来，language game还要满足两个条件：其一得是身经百战的，最好是有那么一个不知道搞到哪里去的meta-game，可以帮这个系统提供风声的话题；其二还得要提高自己的知识水平，懂得评价一个game是不是有用的（meta-critic）。
3. 最后，我们还得关注一下左脚踩右脚的前进方向问题，不能让模型闷声过拟合，然后再把它批判一番，当然这种open problem就留给业界里的各位去解决了，那个时候他会写新的文章表态的。

如果你们看我对文章内容做的解读，依然感觉到了云里雾里，那么没问题，你已经get到了这个文章的核心了。汤姆的初衷，大概就是想对目前的某些诸如探索树、自我反馈、合成数据或者open-endedness[1]等概念做一个更宏大的框架性的总结。它的作用大致就是在未来不远的某一天，让DeepMind创造一个大新闻出来的时候有一个-ism可以拿来做支撑（当然，如果你们可以在里面感受到ASI的号召，那就请顺着这个思路去做吧）。

接下来到了句号部分。

首先我武断地认为，维特根斯坦的语言游戏只是一种解释性的阐述，语言游戏概念旨在揭示语言的多样性和复杂性，以及语言在不同情境中的功能和意义，完全不能构成一种系统工程学的指导思路。我丝毫的感觉不到在这里借用这个概念的优越性，如果只是想表达“语言的多样性”或者“使用的意义”这一层观点。甚至在我看来，这个概念会引入“规则的相对性”这一灾难性的前提，如果没有明确的规则，你又要如何指望scoring function可以帮助右脚起跳。再回到苏格拉底式的质问上，“规则的相对性”更容易引起逻辑上的诡辩，从而完整的否定整个系统。

其次，语言作为思维的一种呈现方式，也谈不上是一个封闭的系统。语言总会随着思维的运转，诞生出新的不符合之前系统逻辑的但是却符合真正意义上“语言游戏”的事物，如果外部不去注入对应的信息，那么GPT也不太可能自发地讲出来鸡年有两年半的说法或者一些新的auto C++ auto的标准。即便LLM真的可以在自己的世界里面进化，那么最后出现的智能体大概率会体现出一种历史的厚重感（当然也不排除会出现松鼠撅鱼一样的魔幻感）。

第三，苏格拉底式的质疑其背后是基于完整的理性逻辑的，也就是人先天就拥有的，可以藉由对应符号完备且结构化的呈现的逻辑系统。而LLM中展现出来的逻辑到底是一种基于数据而形成的归纳逻辑，超出数据范围的逻辑就没有办法基于归纳获得。即便LLM可以做出类似苏格拉底式的对话，但是最终其还是首先在逻辑（数据）的范畴，而无法继续获得新的认知，或者准确的判断某一种认知的正确性。虽然不知道汤姆在写这个文章的时候是否认可这一点，但是其主要强调的也是代码或者数学这种，可以采用理性逻辑验证的领域。所以说到底还是那句话，LLM也是一种机器学习算法。

最后，那几个开放性的问题本身才是左脚踩右脚游戏的核心，而不是这个框架。我要是知道模型是不是在往正确的方向进化，我又何必给它再焊上一个苏格拉底当作捧哏。我只要像大家蒸馏o1那样，设计一套顺序执行的框架再不断地去迭代就可以了。基于苏格拉底式的质疑来达成AGI，怕不是首先需要一个具有AGI性能的苏格拉底模型来实现罢。

写在最后，其实我还是觉得他写得好，好歹人家思考了，表达了。什么时候我们的业界也能充分的思考了，表达了，那我也就可以安心的去做擦边主播了。

参考

1. ^Open-Endedness is Essential for Artificial Superhuman Intelligence https://arxiv.org/pdf/2406.04268