分析信息：香农、维特根斯坦、图灵和乔姆斯基对信息的两次分离

信息时代演化到现在，对数字企业，有个根本性的反转，经济系统发生了“主客供需移位”。 旧范式：生产者（供给方）主导，消费者（需求方）被动选择。核心是“生产-消费”的线性关系，其目标函数在能量约束下的最小作用原则，这一范式下供给方是理性创造，市场经济却是看不见的手在操作。 新范式：注意力拥有者（每个人）成为供给方，提供最稀缺的资源——注意力；生产者反而成为需求方，竞相争夺注意力。经济权力根源发生逆转。这一范式下需求方是追求信息价值密度的，变成意义生成看不见的手了，市场经济在AI协调成了凯恩斯式、博弈论式近似理性人回归。 这一反转导致数字企业的核心价值不再取决于规模或产能，而取决于其创造 “价值密度” 的能力。价值密度：在单位时间/注意力消耗内，所能提供的效用、体验或意义的浓度。按照香农信息论的说法，是解决有限信息通道的信息效用最大化问题，即人类认知带宽（B）有限，信噪比（SNR）取决于信息质量（意义密度）。符合这一效用的信息方式是符合香农信息论三大编码方式的:去冗余 扛噪声 适配认知 注意力稀缺的背景下信息效用最大化原则这一根本性的反转，审视企业，你会发现美团是信息时空密度最大化；拼多多是价格密度最大化；淘宝搞了大消费平台后，信息熵增更高了，这个不符合这一范式，我对大消费平台这一提法始终保持异议。 数字企业的天命，注意力稀缺下信息的最大效用原则，香农公式：C = B * log2(1 + SNR)，C为信道容量，B为带宽，SNR为信噪比。对应信息需要压缩、高保真、多模态。

人工智能时代的苏格拉底～木铎书评之《分析信息》 说句实话，在我刚刚看到这本书的时候并没有太大的兴趣，因为作者本身在学术圈之外也不出名，不过由于他在书的副标题中罗列的几个人名，我还是决定略读一下，这本书的副标题叫香农、维特根斯坦、图灵和乔姆斯基对信息的两次分离，说句实话这个副标题有点扯虎皮当大旗的味道。 整本书读下来还是有一点惊艳的，作者对数据到智慧的层级的理解还是非常到位的。我们很多人在从外界获取信息的时候并不太理解DIKW模型对我们获取信息的过程和后果意味着什么，而作者在这本书中讲得是很明白的。 参照DIKW模型，作者提出了两次分离的理论，第一次分离是数据和信息的分离，第一次分离的主力是克劳德.香农和他提出的信息论，信息论解决的问题是如何在一个有损信道中传递数据，同时保证信息传达的准确性。在信息论之前，人们是没有考虑过数据和信息之间的界限和差别的，香农提出来信息熵的概念，也就是说信息是能让我们知道或确定一些以前我们不知道的事情，而数据是传达这些事情的途径和手段。无论是通过古代中东的泥板，古代中国的竹简，还是纸质书亦或是电子信号，我们都可以传达同样的信息，只不过数据交换的方式和效率不同罢了。 香农的信息论带来了信息大爆炸，既然什么媒介都能用数据传递信息，并且香农提供了如何在有损信道最大化传达信息的理论，信息就自然可以通过人类最快的方式传播，一开始是电报，后来是电话，现在直接变成无线电和光波，反正只要保证信息接受者能收到尽可能近似的信息就可以了（有损信道不可能完全传达所有信息）。信息交换的速度越来越快，人们交换的信息越来越多，信息爆炸也就越来越明显，一开始人们苦于得不到信息，现在人们苦于信息太多，把自己淹没了。 为什么信息太多会把人们淹没了呢？因为很多时候只有信息无法帮助人们决策和行动，比如说你得到一则关于某个企业股票的信息（先不管你是不是通过合法渠道得到的），假如你没有关于股市的概念，假如你没有在股市中从事买卖的经验，或是听说过这些经验，这个信息对你来说就是没有意义的，你知道了它，但是这个信息对你意味着什么或是你不知道该如何行动。 这个信息对你来说就是把你淹没的信息，因为信息太多，这些对你没有意义的信息有可能让你注意不到真正对你有意义的信息，用这本书中的话来说就是信息无法上升为知识和智慧来指导行动和决策。信息社会中存在这样一个悖论：我们仿佛拥有了关于这个世界越来越多的信息，但这个世界在我们看来却越来越缺乏意义。美国的一位著名诗人艾略特曾经写过这么一首诗：“我们在生存中失掉的生活在哪里？我们在知识中失掉的智慧在哪里？我们在信息中失掉的知识在哪里？” 作者在书中随后提到了他认为的第二次分离，也就是信息和知识的分离，在作者看来第二次分离是由研究语言的人给出的线索，二十世纪研究语言的人中最有名的二位就是维特根斯坦和乔姆斯基，当然还要提到人工智能真正的开山鼻祖图灵。如果说第一次分离的目的是通过最快最有效的方式把信息传达给使用者，把信息从数据的具体形态中解放出来，第二次分离的目的是通过信息反推出对人们有意义的知识和智慧，帮助人们决策和行动。如果说第一次分离造就了曾经如火如荼的IT产业和互联网产业，第二次分离就是人工智能背后的源动力。 通过IT产业（当然包括互联网产业）几十年的狂飙突进，人们已经得到了海量的信息，但是人脑从信息中提取知识和智慧的能力受限于人类大脑的运算能力，同时DIKW的金字塔越往上走，就越依赖人脑和整个自然环境和社会环境长期互动形成的大量背景知识和实际经验，同样一条信息对背景不一样的人就有不同的价值。当我们生产和传输了大量的数据和信息之后，我们缺发现只有人类大脑才能从数据和信息之中提取知识和智慧，而且人类提取知识和智慧的速度远远落后于计算机能够传输和存储的数据和信息，导致大量的数据和信息无法变现，人工智能就变成了一种必然的选择。 很多人对现在人工智能的本质没有充分的理解，从而产生一些没有必要的担忧，比如人工智能有了意识之后会不会毁灭人类等等，在我看来这些问题都太遥远了。现在所有已经实用化或者说商业化的人工智能本质上都是在干一件事，就是对人类大脑生成知识和智慧过程的逆向工程。人工智能现在还不能理解人类大脑生成知识和智慧的过程，所以它就干了一个破译密码时经常干的事儿，也就是拿到足够多的密文和明文，然后用统计数据反推二者之间的联系，这也就是为什么再先进的人工智能也需要人类输入作为训练数据集的一部分，即使是ChatGPT这种级别的人工智能也需要人类输入来纠正错误。 人工智能拿到足够多的数据和信息之后，推算出匹配的人类知识，然后再匹配上人类输入的纠错信息，就能一步步逆向工程出人类的知识（现在能不能达到智慧这个层次还有待讨论）。作者说过一句话我觉得很有道理，如果人类大脑足够快，能够匹配上计算机传输和存储的数据和信息，也就没必要发明什么人工智能了，人工智能就是希望能够破解出人类大脑从数据和信息中提取知识和智慧的方法，但是目前看有一些效果，但是还没能完全破解。为什么呢？因为人类自己还不理解自己的大脑和语言是如何工作的。 作者在书中提到了维特根斯坦，因为维特根斯坦是西方研究语言的扛把子，至今都是无法被超越的高峰，即使是维特根斯坦也不能完全破解语言的秘密。维特根斯坦在年轻时就写出来《逻辑哲学论》，认为语言就是逻辑，所以一些不规范使用语言中逻辑产生的哲学问题压根就没有价值。维特根斯坦做完这个事就去小学教书去了，几十年后他又推翻了自己的理论，说人类的语言分为逻辑和指称（也就是对对象的命名和理解），逻辑可以被说明，但是指称无法被通约，不同的人对同一件事的理解就是不一样，而人类生成知识和智慧的过程又离不开指称。 如果作者多看看侯世达的书，就会知道侯世达把指称问题解释成范畴，不同的人即使使用同样的词可能脑子里的范畴是不一样的，理解也就是不一样的。范畴这个东西很难被计算机表现和模拟，而范畴在人一生之中又经历着不断的改变，这一切又依赖于人脑与自然环境和社会环境的复杂互动，这一切现在都无法被简单地编码到计算机里，于是就只能通过人工智能从数据和信息来反推人脑中能产生怎样的知识和智慧。这种反推很多时候就是盲目猜测和概率统计的综合，但是这种猜测也带来一个问题，就是如果从工程上不能直接模拟人脑，能不能从工程上影响人脑？答案是肯定的，现在所有的社交媒体就是在做这件事。 社交媒体是最早拥有海量数据的玩家，但是他们苦于大量的数据和信息无法变现，既然无法从工程上模拟人脑，他们就走了另一条路，那就是从工程上影响人脑，不断给你投喂类似的信息，通过海量类似的信息来塑造你对世界的理解，这样一来你从数据和信息反推知识的过程就更容易被预测到，你也就更容易被他们影响，他们积累的数据和信息就能变现为实实在在对人群的影响。 我身边有一些比较人间清醒的朋友都在抱怨社交媒体上的表达越来越极端化，甚至要求你对某个问题站队，其实这背后就是一个工程问题导致的，为了把积累的数据和信息变现，只能通过工程手段影响人脑。在社交媒体上，不管你的观点是什么，你是站队苹果还是华为，你是站队巴勒斯坦还是以色列都不重要，你越来越极端化，越来越好预测才是最重要的，这样一来社交媒体平台才能更好地通过影响人群获得收益，这和阴谋论无关，完全是工程和商业的需要。 在互联网社交媒体上的观点越来越极端化的时代，我们应该做什么呢？其实很多人意识到了信息茧房效应但是还是无法放下手里的手机（我自己也需要极大的意志力才能保证自己用手机时只码字和读书），我倒是推荐大家参考一下古希腊的苏格拉底，他在古希腊的雅典不停地找不同的人聊天来发现大家对同一个概念的不同理解，然后看看每个人想法中哪些是可以被借鉴的，从中提取出人类知识的普遍基础。 如果我们参考雅斯贝斯提出的轴心时代理论，我们发现无论是古希腊的苏格拉底，柏拉图还是中国的孔子和孟子还有印度的佛陀，他们都经历了一个和很多有不同见解的人辩论和互动的过程，才产生了后来影响人类历史进程的智慧。在这个人工智能时代，也许我们也需要借鉴古人的智慧，做同样的事儿，放下自己的手机，从互联网社交媒体构建的信息茧房中抽身出来，和身边的家人朋友聊聊天，发现大家对同一件事的不同理解，并从中这才是我们找回真正的智慧的最佳途径。

731(2024No.53）粗略看了一遍。 作者主要澄清了两件事： 一是由香农完成的语法信息和语义信息的分离（以及由此带来语法信息处理效率和语义信息处理效率的差距），可以称为信息的第一次分离； 二是由维特根斯坦、图灵以及乔姆斯基完成的指称语义和逻辑语义的分离（以及由此带来的逻辑语义处理的精进和指称语义的仍然神秘），可以称为信息的第二次分离。 第一次分离大大提高了机器的通信效率，第二次分离大大提高了机器的逻辑计算效率，这两次分离带来的信息处理效率的提升都是通过数字技术实现的。或者说，第一次分离造就了数字化信息世界，第二次分离造就了人类智能以外的人工智能。 “逻辑有没有含义”这个问题，是区分第一次分离和第二次分离的关键。如果逻辑没有含义，那就不存在两次分离，只有语法和语义的一次分离。因为在语言学和逻辑学中，逻辑被认为只是语法，没有语义。 这就有点像在统计信息论中，统计信息被认为是信息的全部；而放在全部信息（论）中，统计信息只是语法信息，此外还有语义信息。同理，如果把视野放到语言学和逻辑学之外，放在信息论的范畴里，逻辑应该也是一种语义。或者按照信息论的叫法，逻辑可以叫作语义信息中的逻辑语义。 目前，指称下的语义和意义的分离还处于不可说的状态，即还停留在哲学状态，工程状态还无从谈起。 作者认为，即使AI掌握了部分语义，但也无法掌握语义背后意义，换句话说，即使第三次分离实现，AI仍无法掌握指称和逻辑背后说意义。换句话说，对AI的担心是不必要的。 该书出版于2021年，彼时大模型位代表的AIGC方兴未艾，应该尚未纳入作者视野，从目前以Chatgpt为代表的大模型语音式输出来看，其表现与真人无异。很难断言了解意义是否仍有必要。

这本书的致命问题在于：语法与逻辑是否同质？语法特别是句法，应是指涉语言符号的编排规则，是纯粹语言形式的，而逻辑就其汉语的意义而言，并非纯符号之间，亦涉及对象，逻辑与历史的统一，那逻辑不能离开历史。逻辑语义与指称语义，崭且存疑吧。

没看完，作者一会老子、一会圣经、一会佛经。实在崩溃。也许看懂了的人能告诉我这本书在干嘛，我反正看不下眼了。

这个作者吧，咋评价呢。前两章香农部分讲得蛮清楚的，看得出对本专业还是很扎实。但后面几章就武侠起来了，还膜起来了😅以后能不能成为一个好学者，不太清楚。但做饭搭子应该挺开心的😂

如果要研究维特根斯坦，这是本不错的参考书，作者把维特根斯坦的一些观点结后来出现的知识作了很生动的表述。 但如果要研究信息论或者人工智能，这书不行，作者数学素养不太行，他的核心论点实际上是神秘主义（虽然作者极力反驳这一点）

自我本我超我的概念都没搞清，还好意思出书？太不负责任了

初步学习了深度学习的数学原理后，偶尔看到这些文科生写出来的书，真的索然无味。也许作者写得不错，但我的脑子无法提炼出重点和有效信息了。

在这本书中，第一次读到了香农对信息的定义。 让自己恍然顿悟。 香农认为“信息是用来消除随机不确定性的东西”。 所以，信息的底色不是语言，而是数字。 书中特别提到了人工智能与人的关系。 其中有两点印象深刻： 真正该担心的事情——机器会不会“顿悟”。在不具备类似人类心理和人体生物机能的条件下，AI是否有可能绕过这些心理和生理条件直接获得指称语义背后的意义，才是人们该担心的问题。 数字化信息世界好像是AI的应许之地。 难以言传的暗默知识的来源（悟性所在）也许是人类精神世界的最后秘密。