大语言模型

《大语言模型》｜特伦斯·谢诺夫斯基 一句话概括 这是一本从技术原理、应用影响和哲学思考三个层面介绍大语言模型的科普读物，重点解释Transformer、预训练、提示词和计算基础设施，并讨论智能、意识、超级智能与监管问题。 核心逻辑 全书分为三部分： 1. 认识大语言模型如何进入日常生活，以及聊天机器人改变沟通、工作和知识获取的方式。2. 追溯深度学习、概率与高维数学，解释Transformer为何能够处理语言。3. 从未来视角讨论人工智能进化、下一代技术、自然启发、超级智能和治理。 核心观点是：大语言模型不是一个装满事实的数据库，而是通过大规模数据训练形成的概率模型；它的能力来自架构、数据、参数和算力的共同作用。 核心内容 1. 聊天机器人改变了人与信息的关系 传统搜索要求用户找到关键词，再从结果中筛选答案；聊天机器人则通过对话帮助用户解释复杂概念、总结和改写文本、生成计划和代码、进行多轮讨论，并根据上下文调整表达方式。 这种变化降低了信息获取和表达的门槛，也让人与机器的关系从“查工具”转向“与系统协作”。但输出流畅不等于事实正确，仍需要核验、追问和人工判断。 2. 大语言模型通过预测学习语言结构 大语言模型通常以预测下一个词或符号为训练目标。通过在大量文本上反复学习，模型逐渐掌握词语关联、语法结构、文体模式、概念关系和上下文线索。 模型未必像人一样理解世界，却能在语言空间中形成复杂表示。这解释了它为何能够写作、翻译、编程和回答问题，也解释了它为什么会把不确定内容表达得过于自信。 3. 提示词决定协作质量 高质量提示通常要说明任务目标、使用场景、背景、约束、受众、语气、输出格式和评价标准。 复杂任务可以要求模型先确认目标、列出缺失信息、提供多个方案、比较优缺点、标注假设和风险，再根据反馈修改。提示词不是魔法，而是为模型提供更清晰的任务边界。 4. 语言表现不等于人的理解 模型可以进行连续对话、角色切换、文本生成和多步骤任务，但这些表现不自动证明它拥有主观体验、身体经验、情绪、价值观或真正的语义理解。 需要区分语言表现、任务能力、世界模型、长期记忆、自主目标和主观意识。一个系统表现得像在理解，与它真正拥有理解，可能是两个问题。 5. Transformer依靠注意力处理上下文 Transformer通过注意力机制动态衡量序列中不同位置的重要性，能够建立远距离词语联系，并支持大规模并行训练。 词嵌入、位置编码、多头注意力、前馈网络、残差连接和归一化共同构成现代语言模型的基础。Transformer也逐步扩展到图像、语音和多模态任务。 6. 深度学习建立在数据、数学和算力之上 大语言模型的进步依赖概率建模、梯度优化、大规模数据、海量参数、GPU、专用芯片和分布式训练。 模型规模增大可能带来新能力，但也增加训练成本、能耗、数据需求和错误风险。“更大”不是唯一目标，还要关注效率、可靠性、可迁移性和实际应用价值。 7. 大语言模型正在重塑多个行业 在医疗、法律、教育、科研、编程、艺术和媒体领域，模型可以辅助整理、检索、起草、解释和生成内容。 但高风险场景不能直接把模型答案当成最终决策。专业人员必须核验事实、理解模型局限并承担最终责任。 8. 幻觉和偏见是现实风险 模型可能生成语法流畅却与事实不符的内容，原因包括训练数据错误、知识范围有限、提示模糊和模型倾向于生成完整答案。 模型也可能继承训练数据中的偏见，在不同群体、语言和文化中表现不均衡。解决这些问题需要改进数据、训练目标、评估方法、输出核验和部署规则。 9. 超级智能带来控制与责任问题 当系统在更多任务上超过人类，关键问题会变成目标是否与人类利益一致、系统是否可解释可控制、是否会被滥用，以及谁拥有部署和关闭它的权力。 超级智能可能扩大人类能力，也可能放大权力、信息和资源不平等。 10. 监管必须与技术同步 AI治理涉及数据隐私、内容真实性、版权、模型安全、高风险应用、算法透明度、责任追究和跨国协作。 合理治理应当进行风险分级、持续评估，并保留人工审查、申诉和纠错机制。监管既不能阻止一切创新，也不能用创新速度掩盖风险。 11. AI未来会从自然和人脑中学习 生物大脑在低能耗、持续学习、感知行动结合和适应环境方面具有独特优势。下一代AI可能在记忆、能效、多模态感知、持续学习和世界建模上进一步发展。 未来不一定只是把模型做得更大，也可能改变模型的结构、记忆方式、行动能力和社会交互方式。 本书最值得关注的核心观点 大语言模型最值得讨论的，不是它是否“像人”，而是它如何改变人与知识、工作和社会制度的关系。 模型可以没有人的意识，却依然通过回答、推荐、生成和预测影响现实。真正重要的问题是： 谁在设定目标？模型依据什么数据？输出将被谁使用？错误由谁承担？人能否核验、质疑和纠正？ 把注意力从“机器有没有灵魂”转向“人类如何使用和治理机器”，更有助于理解大语言模型的现实影响。 一段话总结 《大语言模型》从聊天机器人和提示词切入，解释大语言模型如何通过大规模数据、预测训练和Transformer架构学习语言结构，并进一步介绍深度学习、概率、高维数学、计算基础设施和模型规模对能力形成的作用。全书讨论大语言模型在医疗、法律、教育、科研、编程、艺术和社会生活中的应用，也正视幻觉、偏见、隐私、版权、算力、能耗、就业和超级智能等风险。作者同时区分语言流畅、任务智能、真正理解和主观意识，指出模型的表现不能自动证明它拥有人的思维或意识。全书最核心的启发是：大语言模型的影响不只来自技术本身，更来自人类如何与它沟通、依赖它的输出，并把它嵌入组织、市场和制度；因此，理解AI必须同时关注模型原理、实际能力、应用场景和治理责任。

在发起人工智能运动的达特茅斯夏季会议召开50年之后，马文·明斯基和其他很多创始元勋回到达特茅斯大学举行周年庆典。这一次，明斯基在台上，另一位研究人员站在台下。他就是特里·谢诺夫斯基，从东部的巴尔的摩搬到西部的圣迭戈之后，他现在是索尔克研究所的教授。谢诺夫斯基告诉明斯基，一些人工智能研究人员将明斯基视为魔鬼，因为他和他的书已经阻碍了神经网络的发展。 “你是魔鬼吗？”谢诺夫斯基问道。明斯基把这个问题搁在一边，解释了神经网络的众多局限性，并正确地指出，神经网络从未实现大家期待它实现的事情。 于是，谢诺夫斯基又问：“你是魔鬼吗？” 明斯基被激怒了，最后回答说：“是的，我是。”

我觉得一般，结合Chat GPT后略有点AI水文的感觉。 本书介绍了LLM的前世今生与未来，以及探讨了AI是否有意识等哲学话题。 我原计划获得一些实质性的AI技术培训，很遗憾在这本书中没有获得，多数是concept的理论内容，因此对于我的目的来说，本书一般了。 想了半天，看了半天自己的笔记，实在整理不出什么有价值的输出材料，郁闷的读书笔记点评。 不过我也很认可几种观点与趋势： 大脑给神经网络提供了非常棒的参考模型，人脑褶皱，低功耗，整合，以及推理训练下获得经验总结与预测。 在医药领域，科学领域，各种领域，AI带来了大创造，AI能够挖掘到世界上所有的物理公式。 未来在终端产品上，语音是个重要交互点，这样将是我在消费电子端探索的方向。 我相信边缘端侧的必要性，在资源节约 与实际诉求下 均需要边缘AI，这也是我为什么加入intel的原因，我想这是一家很不错的，边缘AI芯片定位平台，值得我去摸索呢。

翻译非常差，很多地方不通畅，用AI翻译原文看都比这个好。翻译人员非常不称职，将“海马体”翻译成“海马”。这些所谓的翻译人员读过小学吗？？！！

谢诺夫斯基是深度学习界的三立型（立德、立言、立功）学者，与2018年度图灵奖得主辛顿、本吉奥、杨立昆三人或谓并驾齐驱？他的另一著作的中译本《深度学习》也值得一读！

没啥深度，感觉就是大模型拼凑出来的

梳理了大语言模型发展的脉络，读完会被这一领域吸引，尤其是高维数学一章。跨学科的知识图谱塑造了现在AI的模样，可见的未来依旧是生命科学、数学等基础科学的天下。虽然书写得比较早，但作者的博学让这本书系统性极强，列出了本质性的问题，值得一读。

读来很有收获的一本AI主题作品，作者的思考给了我很大启发，虽然现在AI呈现快速发展，但是底层的逻辑我们得了解，才不被表象所遮蔽。

残酷的AT世代！大作已经过时了

读完特伦斯·谢诺夫斯基大师两本书，大师以叙事的方式记录了大语言模型的发展，中间穿插了关键人物及事件，每个章节通过向ChatGPT提问的方式让GPT总结，整体通俗易懂，方便读者入门。