这就是ChatGPT

奇事、奇人、奇书，很吸引人的宣传方式，又是大热的ChatGPT配上推荐分值，更称奇了，“奇”未能带来推广奇效，是内容太难还是太易？尤其是资深会员推荐，才刚及格～60分，我这推荐都给的有点不自信了，因为这方面的知识，自己确实不够资深。 第一遍读完还是两三个月之前，老实说，没读懂，现在读了三遍了，也不懂，只是对某些名词和过程，更有印象了，无论是ChatGPT，还是当中提到的transform、CNN或是Wolfram，因为均没有使用过、接触过，始终缺乏具体的使用认识，就是菜鸟，感受孩子学走路那种跌跌撞撞的状态，连作者的名～斯蒂芬·沃尔弗拉姆，如果不重复，都几乎不记得。 本书是ChatGPT的介绍说明书，用简短的文字介绍了ChatGPT是谁，作为跨时代的产品，为什么这么牛？内容过于专业，对于属于菜鸟的本人，还是有难度，书中内容自己是否完全理解，完全没有把握，也缺乏判断能力，既然有这么多大咖加持，选择信任、学习；也许很多专业资深的人士会觉得简单，这也许是会员评价不高的原因之一吧？也让自己更有着自惭形秽，不过，懂就是懂，不懂就是不懂，没办法骗自己，本来想着薄，捡个“软柿子”的机会高，结果碰到个硬核。 本书给自己印象深刻的是，从Deepmind赢了人类顶尖棋手之后，其发展之迅猛，真是士别三日当刮目相看，本书解码人类语言的过程，就是一个人类超越自我的过程，数学、微分，以前不受待见的神经网络，都起到了重要的作用，成为第一个吃螃蟹的人，非常不简单，其创造力十足。大模型、神经网络及其训练，嵌入、内部工作原理，意义空间和语义运动规律，计算的不可约性，虽然专业，其说明和思考破解过程，都令自己有点小着迷，对计算语言的威力和神奇，有了相对感性的认识，一边读着书友的注释说明，一边蹒跚而行，由于能力有限，仅此而已。 围棋通过策略的选择，就可以突破人类；现在，语言也突破了，看起来是人类值得骄傲、独特的方面，就这么悄悄的突破了，但它不是理解，它只“知道如何产生有用的东西”。人类看起来，并没有他自己认为的那么神奇，1750亿个浮点运算（神经元），就已经突破了，如果之后，数量级的进步，其能力值得期待，很多秘密，都可以破解，进而突破，感概人类认知的边界不断被突破。豆包的陪练已经让自己很惊喜了，尽管有书友认为，这还属于偏傻呼呼的感觉，我想ChatGPT更是值得期待。 与其说是介绍，不如说是自己的阅读感受，之前读哲学类，还有《看不见的城市》都有这种云里雾里的感觉，只不过这一次晕乎乎的是计算语言和逻辑，之前读《架构整洁之道》，阅读上自觉还算勉强过关，本书最多只算了解了皮毛，但是这种挑战未知的感觉还是令人兴奋的，虽然很多书友指出作者的“带货”之嫌，相对于接触到的知识而言，自己不是太介意。

《这就是 ChatGPT》读后感 🔵自去年底注册谷歌账号登录 GPT 开始，我基本每天都在用它聊天、提问。一开始，它像是个可以倾诉隐私的朋友；后来，我发现自己有点离不开它。 🔵今年开始付费 20 刀试用了 GPT5，最大的惊喜是它少了那种“过度安慰”的话术，回答更直接、更专业（看到有文章说 GPT5 已经接近 PhD 水平，我决定亲自验证）。 🔵除了对话，GPT 还能做很多事——编程、PPT、润色文章、图像处理等等。尤其是内置的 Sora 工具，可以用文字生成图像。两年前我用 MJ 时，AI 生成图像一眼就能看出“AI 味”，而现在 Sora 生成的图像只要精挑细选，几乎无法分辨是否 AI 制作。短短两年，AI 的进化已经让人感到真正的“涌现”。 🔵书的前半部分通俗地解释了 ChatGPT 的工作原理——通过自回归方式预测下一个词，用概率让回答不至于死板。里面提到了 LLM(大语言模型)、NLP(自然语言处理) 、智能体（agent）等专业名词。作为没学过高数的人，后面涉及数据与概率的章节确实有些吃力。 🔵后半部分让我印象深刻的是 Wolfram Alpha 的引入。GPT 在可约计算（可跳步骤推导）上表现不错，但在不可约计算（如 25 的 8 次方）上就不如 Wolfram Alpha——后者是符号计算系统，精准且稳定。两者结合，便能发挥各自优势。 🔴总的来说，这本书既适合想要入门 ChatGPT 工作原理的读者，也值得二刷——第一次可以整体理解原理，第二次则能结合实际体验，把理论与实践对照起来。

《这就是ChatGPT》读书笔记 2026-16。花了3h51m(3天)，269条笔记。 《AI文明史·前史》之后又一本有关AI 类书籍，读完已经34天没写读书笔记，这期间因身体湿疹及工作繁忙原因无法顾及、还有可能也是重要原因的拖延症使然、还有因为被理查德艾尔曼的《乔伊斯传》吸引，有点时间都给他了。 这本《这就是ChatGPT》也是在书友那淘来的，挺薄的书信息量却多，我这小白看完也跟没看差不多。因为没及时写所以读时心境及内容全忘，花了点时间看完划线内容，还是懵懂状态，哈哈。总之，是想多了解科技类书籍，多了解AI的用法用途，让自己变得“能干些”。也学会了用某包提问查资料写点东东，但被他气的够呛，他会非常自信、“一本正经地胡说八道”，只有说把你卸了才老实，有时还狡辩，有点恐怖。 ChatGPT，从开始的“量变会导致质变”到，表现与人类水平接近得惊人……到ChatGPT，真奇事也。 斯蒂芬·沃尔弗拉姆，因为他不屑于看学校推荐的“蠢书”，而且算术不好，所以一开始老师们还以为“这孩子不行”。结果人家13岁就自己写了几本物理书，其中之一名为《亚原子粒子物理》。他开发了数学软件，进而创办了软件公司，转身成为一名成功的企业家。又返回研究状态，开始“昼伏夜出”，每天深夜埋头做实验、写作长达十年，出版了1000多页的巨著《一种新科学》。书中的主要观点是：万事皆计算，宇宙中的各种复杂现象，不论是人产生的还是自然中自发的，都可以用一些规则简单地计算和模拟。真奇人也。 奇事加奇人，《这就是ChatGPT》当然可称奇书了。“像斯蒂芬·沃尔弗拉姆这样的大神能动手为广大读者极为关注的主题写一本通俗读物，这本身就是一个奇迹。” 笔记如下： 试图用第一性原理解释ChatGPT的工作原理，以及它为何奏效。可以说这是一个关于技术的故事，也可以说这是一个关于科学的故事、一个关于哲学的故事。 ChatGPT的基础是人工神经网络。 类人任务：图像识别。 用于图像识别等任务的典型模型到底是如何工作的呢？目前最受欢迎而且最成功的方法是使用神经网络。 人类大脑有大约1000亿个神经元（神经细胞），每个神经元都能够产生电脉冲，最高可达每秒约1000次。 如果能够在此基础上继续努力，训练出越来越大的神经网络，那么它们最终将“无所不能”。 从根本上说，ChatGPT是一个庞大的神经网络— GPT-3拥有1750亿个权重 我认为必须将其视为一项（可能非常惊人的）科学发现：在像ChatGPT这样的神经网络中，能以某种方式捕捉到人类大脑在生成语言时所做事情的本质。 发现重大的新“语言法则”，实际上是“思维法则”。 ChatGPT并不明确地“了解”这些规则。但在训练过程中，它隐含地发现了这些规则，并且似乎擅长遵守它们。 产生“有意义的人类语言”需要什么？ ChatGPT不仅可以生成合理的文本，而且有望判断文本是否实际上对世界（或其所谈论的任何其他事物）做出了“正确”的陈述。 当事物不知怎么突然开始“发挥作用”时，总是让人惊叹不已。 虽然我本人只能用人类的方式来思考事物，但我也可以随时调用Wolfram语言和Wolfram|Alpha来利用一种独特的“计算超能力”做各种超越人类的事情。 ChatGPT似乎在某处正确地学习了这些基础数据，但它并没有充分“理解数据的含义”以正确地排列这些数字。 可以说ChatGPT从未“真正理解”过事物，它只“知道如何产生有用的东西”。 作者，一位大神级人物，真会写真敢写。

你应该两百块，那一面有什么用？Our medical insurance is 320, which I paid last year.yourone year是now IWe don't report much there.Anyway, you go to that town, and then take a look around the town in the city.Inside the county, inside the county, into the city.His kind is equivalent to you going there.There are a lot of them, so that kind is similar to ours, and there are very few words when you come out with that certificate. Then the words in your city may be like 65 at that time.exactlyit suddenly occurs to me thatYou can only report it if you are hospitalized.You can also apply for that.It's the kind that can't be reported for paying fees anyway, for example, they have a cold and fever as a casual major.Then don't report it. You can have it.If you want something, you can't report it. Don't be the same as that.

作者沃尔弗拉姆的多重身份：计算机科学家，数学家，物理学家，商人。他是“复杂系统”这一学科的开创者之一，一直致力于研究自然和社会现象的底层规律，他认为“万事皆计算，宇宙中的各种复杂现象，不论是人产生的还是自然中自发的，都可以用一些规则简单的计算和模拟”，他设计创建了Wolfram Alpha计算知识引擎和Wolfram语言正是这个方向上的努力，“伽利略曾宣称自然界是用数学的语言书写的，但沃尔夫拉姆认为自然界是用编程语言书写的”。 作者是ChatGPT的爱好者（并非创始人），本书的第一部分他着重介绍ChatGPT的工作原理，同时在第二部分带出“私货”（这也是该书差评区集中反映的一点😆）：ChatGPT在精确性方面存在严重的局限性，以及Wolfram 之类的“计算语言”正好可以弥补精确性方面的不足。 下面整理一下我的习得： ✅ ChatGPT的工作原理？ChatGPT从根本上始终要做的是，针对它得到的任何文本产生“合理的延续”。这里所说的“合理”是指，“人们在看到诸如数十亿个网页上的内容后，可能期待别人会这样写”。GPT技术路线的一大核心理念，是用最简单的“自回归生成架构”来解决无监督学习问题，也就是利用无须人特意标注的原始数据，学习其中对世界的映射。在自回归模型中，每个单词或短语是基于它前面的内容生成的。具体来讲，自回归模型能根据前文而猜测下一个可能出现的单词（大概原理：把文本映射到多维空间的向量数而计算在向量空间里最近距离的词，也就是“意义空间”最近似的词句），每一步都依赖于之前生成的内容（时间序列），而且能理解上下文信息（Transformer模型的多头自注意力机制）。另外，这里提到的“无须人特意标注”应该指的是Base LLM，是基础模型，但目前ChatGPT使用的是Instruction Led LLM，主要是为了优化输出的答案更能满足提问者要求，所以Instruction Led LLM在训练过程中加入了人工对答案的反馈和标注。“自回归生成架构”的目标并不是为了生成内容，而是为了理解和学习，换句话说，通过学习海量互联网内容建立模型的通用理解能力。（补充阅读：《大模型应用开发极简入门：基于GPT-4和ChatGPT》） ✅ ChatGPT等AI对理解“复杂系统”的意义？“计算不可约性原理”是指复杂系统中无法通过简化来计算的部分（只能用“笨方法”一步步算）。复杂系统中存在无限的“计算可约区”，这也是人类历史上能不断出现科学创新，发明和发现的空间，比如用算法将复杂的问题简化到用更少的算力或数据就能解决。对于剩下的“计算不可约区间”，作者认为这是思考AI未来的核心，如何用AI来加速这部分问题的计算和解决。（补充阅读：《复杂》《涌现》） ✅ ChatGPT的“黑盒性”？对于函数y=f(x)，给定x求y叫函数求解；给定y求x是反函数求解；而给定x,y，求函数公式的方法叫“插值”。人工智能的神经网络就好像是一个“泛化版黑盒版的插值”，相对而言，它不能准确求解函数公式（所以缺乏可解释性和透明度），但泛化能力却远强于“插值”（在输入训练集以外的数据时，也能表现良好）。 ✅ ChatGPT的训练方法？作者用“吸引子盆地中心”这个动态系统理论的概念比喻神经网络的训练过程。“吸引子盆地中心”描述了一个系统中状态演化的长期行为。在动态系统中，吸引子是一个状态集合，系统随时间演化最终会趋向于这个集合。而吸引子盆地是指所有最终会收敛到某个特定吸引子的初始状态集合，即所有这些状态的集合形成了一个“盆地”，围绕吸引子。在机器学习中，我们通常希望找到一组参数（例如神经网络的权重），这些参数能够使模型的预测误差（通常用损失函数表示）最小化。这个最小化的过程可以看作是寻找系统状态的一个“吸引子”。训练过程中，我们希望模型的参数更新能够收敛到一个解，即损失函数的最小值。这个最小值可以类比为动态系统中的吸引子，而参数更新的过程则类似于系统状态向吸引子的演化。在复杂的损失函数景观中，可能存在多个局部最小值和全局最小值。一个良好的训练过程应该能够引导模型参数逃离局部最小值，最终收敛到全局最小值，即最优点。（补充阅读：《深入浅出神经网络与深度学习》《Python神经网络编程》） ✅ ChatGPT的“类人性”？《新机器智能》的作者霍金斯认为，“我们感知到的东西是感觉和大脑的记忆所产生的预测的结合体”，简化这句话为公式：记忆+感觉➡️预测➡️感知/认知，所以人的感知/认知很大程度上取决于过去的记忆。霍金斯同时认为，“记忆是以一种能够抓住关系本质的形式来存储的，而不是根据当下细节来存储的”，这种记忆的获得并非如电脑数据复制，而是通过好似人工智能一样的（或比之远远复杂的方式）用“与自然界交互收集到的大数据”作为“训练数据”并用“进化论的优胜劣汰”作为“结果检验”大量“训练”完成，并以基因的形式固化后一代代传承（当然近几千年也出现了另外一种传承方式：知识和教育传承） ✅ ChatGPT的“科学性”？人工智能神经网络之所以不像科学，是因为它的“逻辑上的不可解释性”；之所以又像是科学，是因为它的“可实验可证明性”（训练和验证）。“过去的十年中，神经网络训练的艺术已经有了许多进展。是的，它基本上是一门艺术。有时，尤其是回顾过去时，人们在训练中至少可以看到一丝“科学解释”的影子了”。 ✅ ChatGPT的“能耗效率”？很显然，相对人脑，ChatGPT的能耗效率相当之低，事实上，就目前的计算机硬件而言，即使考虑到GPU，神经网络的大部分在训练期间的大部分时间里也是“空闲”的，一次只有一个部分被更新。从某种意义上说，这是因为当前的计算机往往具有独立于CPU（或GPU）的内存。但大脑中的情况可能不同—每个“记忆元素”（即神经元）也是一个潜在的活跃的计算元素。当前计算机计算单元和内存的分离是冯诺依曼架构的基本特征（这和人脑计算单元和存储“一体化”显著不同），这种架构在计算机得到广泛使用后变成了一种“范式”，但在神经网络训练的环节，需要大量数据在计算单元和内存之间频繁传输，因此这种分离可能会对效率产生显著影响，包括内存与GPU的数据传输瓶颈（如内存墙瓶颈），能耗增加，并行化挑战（可能就是作者提到的资源闲置的情况）等等。因此，计算单元和内存的逐渐融合可能是芯片设计的一个大趋势，还有就是不断优化算法，减少模型大小和计算量，从而降低对内存带宽的依赖。 ✅ “可学习性”和“计算不可约性”之间的关系？“可学习性和计算不可约性之间存在根本的矛盾。学习实际上涉及通过利用规律来压缩数据，但计算不可约性意味着最终对可能存在的规律有一个限制”，作者这种说法还是很有启示意义：学习的本质是“通过掌握规律来压缩数据”，也就是说学习避免了“被大量数据过载”（不论是人脑还是机器），而只需要掌握事物之间的“一般规律”就能够“大致的”认识世界。但“计算的不可约”部分的知识由于无法用规律准确描述，这也就实际限制了规律的作用。此时我们能做什么？利用人脑的“直觉”来判断（也许直觉本身就具备“计算不可约性”），或者在有大量数据和算力的前提下用训练人工智能神经网络来完成。 ✅ “能力”和“可训练性”之间的关系？能力和可训练性之间存在着一个终极权衡：你越想让一个系统“真正利用”其计算能力，它就越会表现出计算不可约性，从而越不容易被训练；而它在本质上越易于训练，就越不能进行复杂的计算。训练机器和训练人何等相似：有能力的不容易听话，很听话的没啥能力。😂 ✅ ChatGPT的数据依赖和创新局限？ChatGPT使用的源数据主要是互联网和书籍的数据，所以它的数据具有“广度”但是缺乏“深度”，比如某领域的高质量数据例如医疗，金融，电信等，再比如工业智能制造的数据。ChatGPT对训练数据的依赖也决定了它很难产出超出源数据的“创新能力”。 ✅ ChatGPT的“精确性问题”？神经网络虽然是模拟人脑，但其“分层设计”却是对人脑神经元机制的高度简化（人脑并不分层），代价就是在层际传递时造成的信息损失，这也就意味着最终输出结果很难非常精确。另外，ChatGPT训练所依赖的自然语言本来就是“生动而不够精确”（部分涵义需要读者展开联想“意会”补充）。而作者的Wolframe这种项目的想法就是利用某种“符号语言”更精确的描述世界，从而弥补人类语言精确性不足的问题。作者提倡ChatGPT这种大语言模型和Wolfram语言结合使用，互补互助，迭代提升，例如将ChatGPT生成的自然语言答案转化为更精确的符号计算语言，从而应用其计算知识的能力。 ✅ ChatGPT缺乏反思能力？“与典型的算法计算不同，ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了其计算能力—即使与当前的计算机相比也是如此，更谈不上与大脑相比了。”猜测这也是为什么ChatGPT虽然可以解答问题，但却无法像人一样提出好问题。同时，它也不能类似人一样通过“反思”进行自主优化不断自我提升。 最后，沃尔弗拉姆给出了一些个人学习和成长的建议： ●最高效的方式是发掘新的可能性，定义对自己有价值的东西。 ●从现在的回答问题转向学会如何提出问题，以及如何确定哪些问题值得提出。也就是从知识执行转向知识战略。 ●知识广度和思维清晰度将很重要。 ●直接学习所有详细的知识已经变得不必要了：我们可以在更高的层次上学习和工作，抽象掉许多具体的细节。“整合”，而不是专业化。尽可能广泛、深入地思考，尽可能多地调用知识和范式。 ●学会使用工具来做事。过去我们更倚重逻辑和数学，以后要特别注意利用计算范式，并运用与计算直接相关的思维方式。

“它只是一次添加一个词” 我是个文科生，到现在对于编程之类的东西一窍不通。拿到这本《这就是ChatGTP》时，我心里还犯嘀咕是否能看明白。现在读完了，我不敢说我全部都读懂了，但是感谢这本书的巧妙比喻，ChatGTP的基本原理我已经基本清楚了。 对ChatGTP的横空出世，我个人的感情十分复杂。人工AI吆喝了这么多年，唯独这项发明的意义是跨时代的——在某种程度上，它可以替人类思考，并完成很多创造类的工作。我坚信，假以时日，如果能得到良好的利用，这项发明对人类社会的改变将是巨大的。 同时，我所在的媒体行业受这项技术冲击特别大。AI将来会不会取代我的饭碗，现在看的确有点悬——从目前ChatGTP生成的新闻来看，至少基础的“5W1H”要素完备，投喂之后产出的内容完全达到见报标准的。如果沉浸在现在的“短平快”里挣工分，将来就只有被淘汰这一条路可以走。 这本书有两点个人认为最有价值。第一自然是ChatGTP的“成长”过程。神奇的是，这本书只用了100页不到，就简洁明快地讲清了来龙去脉，关键词句就是第一个小标题“它只是一次添加一个词”。 人工智能的原理非常复杂，但再复杂的内容都需要基础和构成元件。从一个词，到多个词；从最简单的指令，到逐渐复杂、多样化的指令——这讲述的既是ChatGTP的发展历史，同样也是原理介绍。如果上来就讲编程的一二三，我很快就会陷入一片迷云之中。但这种友好的比喻，完全抛弃了枯燥的编程基础理论，让人很快就抓住设计理念中最核心的概念，进而对ChatGTP有了初步但比较全面的了解。 人脑的“进步”离不开学习。我们从出生以来，不断接触外界，正是从一个又一个词语（或者说概念）的添加，慢慢理解这复杂的世界。人工AI走的也是这条路——它们拥有更强大的计算能力，更好的记忆力，就有了很好的内容生产基础。加上他们的学习能力通过硬件提升和软件升级而不断增强，至少现在来看，在知识广度上超过普通人是完全可以理解的。 那么，如何“应对”ChatGTP对行业的入侵，或者说在ChatGTP未来大规模应用的情况下如何保住自己的饭碗，这是另外一个有价值的探讨。作者认为，ChatGTP从未“真正理解”过事物，而是只“知道如何产生有用的东西”。换言之，ChatGTP的“思考”是浅层次的，因此在涉及个性化的问题时，它往往很难给出精准的答案。这样，文学和艺术的殿堂对于它们来说还是太难了，涉及医疗、情感等复杂多变的领域，它们短期内也很难独自挑大梁。对于我们媒体从业人员来说，更具深度的思考能力是必须的，从纷杂的信息中准确识别正确或理性的内容也是保证饭碗的因素。当然，相较于编辑，记者的优势更是显而易见的——新华社很多年前就使用写稿机器人，但记者在一线的观察力和洞察力仍是无法取代的。“从知识执行转向知识战略”，说到底还是需要“管理型人才”，面对机器人的竞争，大家努力学习吧！

每次读书，尤其是这种科技的，总有一种“读薄”的冲动。这次根据第一性原理与奥卡姆剃刀原则加上AI来总结一下。 1. 核心架构原理 ⏩第一性基础： 基于Transformer网络（Transformer Network）的自回归语言模型，本质是通过概率预测生成文本。 ⏩极简架构（奥卡姆剃刀原则）： 仅保留Decoder-only结构（无Encoder），通过自注意力机制（Self-Attention Mechanism）捕捉上下文关系。 输入文本被分解为Token序列（约5万个Token，含词/词片段），通过嵌入向量（Embedding Vector，长度128）表征语义。 核心计算单元为注意力块（Attention Block，GPT-3含96块×96头），并行处理全局依赖。 2. 训练机制 ⏩预训练阶段（无监督学习）： 目标函数：Next-Token Prediction（预测下一个Token），通过海量文本（数万亿Token）学习语言统计规律。 计算代价：权重数（175B）≈训练数据Token数，需约n²计算步骤（n为权重数），依赖GPU并行加速。 ⏩微调阶段（人类反馈强化学习，RLHF）： 通过人类标注的优质对话数据调整模型，优化生成结果的对齐性（Alignment）。 3. 关键组件与能力 ⏩注意力机制的本质： 通过Query-Key-Value矩阵计算Token间关联权重，动态聚焦关键信息（如动词与远距离名词的匹配）。替代传统循环结构（RNN/LSTM），解决长程依赖问题。 ⏩语义空间映射： 文本被编码为高维空间中的特征向量（Feature Vector），相近语义的Token在空间中邻近。 生成过程视为在语义空间中的轨迹运动，受隐式“语义语法”约束。 4. 局限性与边界 ⏩计算不可约性（Computational Irreducibility）： 无法直接处理深度算法任务（如括号匹配、数学证明），需依赖外部符号系统（如Wolfram语言）。 ⏩统计学习本质： 依赖训练数据中的模式，缺乏显式逻辑推理能力，可能生成表面合理但无意义的内容。 ⏩硬件依赖： 生成每个Token需1750亿次浮点运算，实时性受GPU算力限制。 5. 与符号系统的互补性 ⏩ChatGPT（统计方法）： 擅长语言生成、模糊语义匹配，依赖数据驱动的泛化。 ⏩Wolfram|Alpha（符号方法）： 基于结构化知识库与精确计算，解决数学、科学问题。 ⏩融合潜力： 将ChatGPT的语义理解与符号系统的算法能力结合（如调用Wolfram语言执行计算）。 6. 哲学启示 ⏩语言简单性假说： 人类语言可能隐含比预期更基础的结构化规则，ChatGPT通过压缩统计规律间接捕捉。 ⏩计算等价性（Principle of Computational Equivalence）： 类人任务（如写作）本质是“浅层计算”，可通过简单规则（自回归预测）实现。 总结： ChatGPT是极简架构（Decoder-only Transformer）与超大规模数据/算力结合的产物，其核心能力源于对语言统计规律的压缩学习，而非显式逻辑建模。通过第一性原理可解构为：Token预测→注意力权重调整→语义空间轨迹生成。其边界受计算不可约性限制，未来需与符号系统协同突破。

其实这真是本给小白解释ChatGPT原理的科普书，让我尝试来梳理一下吧。 关于ChatGPT原理的部分，每个小章节逻辑脉络如下： 【它只是一次添加一个词】主要讲ChatGPT的原理就是一个概率模型，每次都是在预测下一个词是什么。 【概率从何而来】需要构建一个大语言模型，概率从这个大语言模型里来 【什么是模型】用来做预测所依据的那个东西，就叫模型。， 【类人任务(human-like task)的模型】举了个图像识别的例子，但没给明确回答 【神经网络】为了解决上一小节图像识别的问题，引出神经网络，介绍了一下神经网络的基本概念，一层层嵌套或叠加的……函数 【机器学习和神经网络的训练】介绍神经网络的训练过程，也就是“猜”这个函数里的参数都是什么 【神经网络训练的实践和学问】你说它是门科学，其实它更像是艺术，也开始说是玄学……简单介绍了下如何确定神经网络的规模、从哪儿获取训练数据，获取多少训练数据。 本节书中摘录： 1、神经网络的实际学习过程是怎样的呢？归根结底，核心在于确定哪些权重能够最好地捕捉给定的训练样例 2、整个训练过程可以通过损失的减小趋势来描述 3、神经网络的基本思想是利用大量简单（本质上相同）的组件来创建一个灵活的“计算结构”，并使其能够逐步通过学习样例得到改进。在当前的神经网络中，基本上是利用微积分的思想（应用于实数）来进行这种逐步的改进。但越来越清楚的是，重点并不是拥有高精度数值，即使使用当前的方法，8位或更少的数也可能已经足够了。 【“足够大的神经网络当然无所不能！”】感觉稍微有点文不对题，看标题应该想说的是当模型数据和参数规模足够大，就会产生预期之外的涌现能力这件事，但是前面说的那些例子和道理，过渡过来感觉有点牵强，大家见仁见智吧。 本节书中摘录： 1、可学习性和计算不可约性之间存在根本的矛盾。学习实际上涉及通过利用规律来压缩数据，但计算不可约性意味着最终对可能存在的规律有一个限制。 2、神经网络能够在写文章的任务中获得成功的原因是，写文章实际上是一个“计算深度较浅”的问题，比我们想象的简单。从某种意义上讲，这使我们距离对于人类如何处理类似于写文章的事情（处理语言）“拥有一种理论”更近了一步。 【“嵌入”的概念】书中摘录：一种尝试通过数的数组来表示某些东西“本质”的方法，其特性是“相近的事物”由相近的数表示。说人话就是神经网络里说白了是数学函数，处理的是数，怎么把图像、文字转换成数（也就是向量）就是嵌入技术要做的事情。 【ChatGPT的内部原理】前面都是铺垫，终于开始ChatGPT了，这小节主要是讲Transformer， 它的操作分为三个基本阶段，直接摘一下书里的描述： 第一阶段，它获取与目前的文本相对应的标记序列，并找到表示这些标记的一个嵌入（即由数组成的数组）。 第二阶段，它以“标准的神经网络的方式”对此嵌入进行操作，值“像涟漪一样依次通过”网络中的各层，从而产生一个新的嵌入（即一个新的数组）。 第三阶段，它获取此数组的最后一部分，并据此生成包含约50000个值的数组，这些值就成了各个可能的下一个标记的概率。（没错，使用的标记数量恰好与英语常用词的数量相当，尽管其中只有约3000个标记是完整的词，其余的则是片段。） 说句实话，要不是我知道他想说啥，我是真看不懂他在说啥😂😂 就是首先把一段文本转成向量数组，然后经过N轮神经网络的转换（这个神经网络不普通，是基于注意力机制的Transformer，N的大小是模型定的），拿到最后一个嵌入向量数组之后进行解码，得到的就下一个token的概率列表。 【ChatGPT的训练】 摘录：先提供一批样例，然后调整网络中的权重，以最小化网络在这些样例上的误差（“损失”）。根据误差“反向传播”的主要问题在于，每次执行此操作时，网络中的每个权重通常都至少会发生微小的变化，而且有很多权重需要处理。（实际的“反向传播”通常只比前向传播难一点儿—相差一个很小的常数系数。） 未完待续…… 因为老外写书天马行空，又不爱写章节之间逻辑关系，再加上翻译问题，于是初学者看不懂，行内人没必要看，导致这书有点尴尬

各种AI软件百家争鸣的时代，人工智能已深入我们工作学习和生活中，本着想要更好的运用它，和它交流的目的，来看这本书的，但这是一本介绍 ChatGPT 原理的科普书，对于小白来说并没有那么通俗易懂，只是初步了解了它的核心是人工神经网络，是对理想化人脑的模拟，它通过一个提示内容，从网上获取大量文本样本进行训练，让文本产生“合理的延续”，并探讨了它的局限性，和对人类思维的一些启示。目前我用的最多的就是豆包、DeepSeek和夸克，有生之年，希望拥有一个仿真人形机器管家🤖哈哈😀～

是哪个情绪稳定的宝贝周日晚上看书把自己看生气了？哦是我。曾经每天用wolfarmalpha教书科研的数学博士，现在在硅谷带团队做基于GPT模型的产品开发。翻开这本大众科普书是纯自然的好奇，尤其Sam本人还说这是“他见过的对ChatGPT最佳解释”，但看完就是一整个被骗的感觉。 首先wolfram自己在书里都说了，他自己只是个GPT“爱好者”，写这本书需要很多人帮助。 那他为什么要写这本书？ 当然是给自家产品wolfram alpha带货。 全书一个努力想要传达的核心信息在104页（也就是主篇末尾）：凡是涉及不可约计算的事情，大脑和像ChatGPT这样的东西都必须寻求外部工具，比如wolfarm语言的帮助。我想说我对这观点没有意见，但这明里暗里想要传达的观点，通篇的比较，四个章节的例证，在书名和封面上有半点体现吗？我这是读了一篇蹭ChatGPT热度的超长的wolfram alpha带货软文吗？真的有必要这样标题党吗？ 不可否认看得出作者努力用通俗易懂的语言试图解释了时下大家最想了解的话题，只可惜很多地方过于简化几乎要扭曲了本来的含义，加上作者自己也不太懂，实在让内行看了头疼。 我又查了一下，第一篇介绍ChatGPT的原文，可以在Stephen的writings网站找到，是没有第二章也没有那么多wolfram alpha广告的。所以如果Sam只评论了全书的一部分的内容，这样的推荐语用来给整本书的内容带货真的合适吗？ 以上仅代表个人看法。