大模型时代：ChatGPT开启通用人工智能浪潮

纯阳书评第562期《大模型时代》 技术的进化从来都会超越人们的想象，就在人们还沉浸在基于规则的人工智能幻象之中，人工智能已经叩开了大模型时代的大门，人工智能终究还是没有走通那条以规则遍历为逻辑的构建之路，而是出人意料地走上了凯文凯利神谕式的从“不可控、不可知、不可测”中涌现智慧、集愚成智的涌现之路。 越是不可思议的事件发生，给人们带来的冲击往往越为深重，越值得人们去关注、理解并适应。那么什么是大模型，什么是大模型的生成逻辑，大模型到底有什么价值和意义？ 本书以上述问题为主题，逐级为读者勾画了一幅大模型时代的知识概览，具体看点有三，内容如下： 第一、善于比喻，化抽象为具体 在智能科技的浩瀚星海中，大模型就像一颗璀璨夺目的新星，它的光芒虽然耀眼，却让许多人感到烧脑。为了帮助读者理解这颗新星的奥秘，本书巧妙地创造了两个角色——老莫和小二，通过老莫和小二的对话，本书将大模型的训练生成和推理逻辑娓娓道来，既降低了理解的难度，又增加了阅读的趣味。通过一场对话，我们跟随着老莫和小二，一起探索大模型的奥秘，不仅能理解大模型的运行机制，更能让我们在轻松愉快的阅读中，感受到涌现的魅力。 第二、善于切题，抓住核心逻辑 写书和写作文的本质是相通的，都是在文字的世界里构建一座思想之塔。无论是写一本书还是一篇作文，一旦主题确立，最重要的任务就是围绕这个中心，精心选择材料。 作者的主题把握得恰到好处，能够准确地找到大模型的要害，抓住它的主要方面和核心逻辑。比如在技术篇他把墨水重点投向了chat是怎样炼成的、大模型的幻觉是如何出现。正向锁定的是预训练、微调优化和强化学习，精准地把握住了大模型的关键环节，反向锁定的是大模型幻觉，让读者在清晰地看到大模型的内在结构和运行机制的同时，清醒地认识到大模型这套神逻辑所带来的不可避免的病弊。 第三、善于构建，逻辑结构清晰 作者的结构组织得层次清晰，这种清晰既体现在整体结构上，也体现在局部结构上，从整体结构上技术篇开局，变革篇后继，应用篇跟随，产业篇收尾，干脆利落，毫不拖泥带水，每一篇都是整体知识图谱上的一块拼图，它们相互连接，形成了一幅完整的大模型知识图谱，相互之间又形成了一种依赖关系。 在局部结构上，本书也展现出了作者的布局和讲述功力。例如，在产业篇中，作者从硬件基础设施入手，逐级向上构建，以软件基础设施、MAAS（模型即服务）为后继，到应用层作为收尾。在详细阐述了当前技术产业在每一层的布局情况基础上，展望分析各层的发展现状、未来趋势和潜在的商业机会。 一句话，无论讲的内容是什么，主打的就是一个清晰，就是一个符合逻辑，所以读完以后，会觉得很值得回味。 ​

🤖️某种意义上说，一个人脑就是一个模型。头脑接收到的第一手信息就是海量参数，大脑神经元就是接收数据的中央处理单元CPU，归纳就是深度学习和文本提取，演绎就是生成新内容，根据外界反应进行自我识别就是监督学习，社会期待和人生任务指标就是奖励模型的标准答案，脑子突然开窍就是涌现… 这样看来，心与脑的确有云泥之别。 ———————————— 全书分为四个篇章 1.技术篇-用生动的方式科普了大语言模型LLM（Large Language Model ）本身。它到底是什么？在干什么？它何以成为现在的样子？ 2.变革篇-人类如何应对AGI（Artificial General Intelligence ）及整个智能浪潮带来的变化。 3.应用篇-企业在何场景下如何让大模型参与工作，提高效益。 4.产业篇-大模型相关产业由哪些构成，其各自的商业模式、发展现状和趋势如何？ 就以个人受益较多的1、2篇做个总结 ⭐️【技术篇】： 谈论一个问题，要先对问题的对象有清晰的认知。 从ChatGPT说起，引出在它强大的表现背后其内核是大语言模型LLM，ChatGPT是LLM的其中一个应用形式。 顾名思义 P：Pre-trained 大模型以海量的数据为基底进行预先的训练，这些数据来源包括：维基百科、图书、杂志期刊、Reddit链接、Common Crawl和其他。在GPT-3中使用的数据集大小有700多GB，5000亿左右的token数量，如果换算为中文字数，约有19万套四大名著的阅读量（四大名著共计约262万字）。这些信息形成一座巨大的图书馆，供大模型使用。 G：Generative，生成式，就是根据给出来的上文，预测后面的文字是什么，通过文字接龙生产出新的内容。所以大模型对文本进行从左到右地单向编码、单向预测。 和传统的BERT检索式模型不同，生成式是根据图书馆里掌握的信息，创造新的内容，而不是简单的在图书馆搜寻对应信息。 T：Transformers ✨关于大模型的几个重要训练方式： ｛深度学习｝个人理解为从表象中提取、抽象、归纳的能力 ｛监督学习｝模型通过外界提供的标准答案，调整自身的认知。相当于看到一头熊后，通过分析，知道这是一头什么品种的熊，然后对答案，看看自己的认知正不正确。 ｛强化学习｝模型通过与外界交互，通过外界的反馈，调整自身做法。相当于看到一头熊后，大脑决定是逃跑还是装死。 于是我们可以说大模型的训练分为这三步： 1⃣️生成式预训练（模型自己猜测文本后面的字该说什么，就像输入法联想一样，然后自行对答案） 2⃣️监督微调（这一步主要加入了一问一答对话互动，不只是在自己单独预测。第一步中已经存在自监督即自己对答案的模式了） 3⃣️人类反馈强化学习（Reward Model 奖励模型参与进来，相当于陪练老师的角色） 这样一来大模型得以优化、优化、再优化 ⭐️变革篇： 这里讲如何应对 一方面，由于坐拥全人类的精选知识作为预训练输入，大模型像一个阅书无数的图书管理员。经过监督学习和强化学习激发了类比、推理等多种涌现能力之后，大模型又变得多才多艺、能思善辩。它能部分模仿人类的思维能力，但又比任何一个人类都更具备全面性的优势，能有效促进全球知识的跨领域整合、交叉分析，帮助发现不同领域之间的潜在联系，有机会产生或激发出新的知识。 另一方面 1⃣️它的强大同时也带来了不确定性。比如它会说谎，这需要我们人类在使用大模型时具备一定的独立思辨能力，面对大模型呈现出的方案和回答时，我们需要问：回答全面否？真实否？合理否？可行有效否？ 2⃣️大模型的强大能力的展现，需要一定的提问水平作为前提，你的问题和指令要清晰具体，体现动机。问就是答，如这个世界一样，大模型也是一面镜子。 3⃣️这一篇里还讨论了大多数人关注的问题——就业与科技（说到底是教育与科技） 技术的变革势必带来岗位的减少，但另一面是：新东西新服务新产品新模式导致的市场规模变大（具有滞后性，需要时间）。增量市场也将相当程度上增加新岗位的需要。教育和科技之间的较量本身是一场拉力赛，需要我们用发展的眼光看待。 💕最后谈谈它对自己更深一层的启发： 强化学习过程中，Reward Model(奖励模型)扮演者重要的角色，它的评估决定大模型如何进行调整。那么把视角放到个人生活中看，那些社会中可以打分的人（我们愿接受对方评估的人），亲朋师友、上下左右，外界的反馈，不断调整着（优化着）我们向外输出和内在思维的内容和方式，进一步，是灵魂对自我的评价，外界的评价已经不再重要了，同时也会发现，他人对我的评价实际上就是我对我的评价，直至最后连自己也不再评价自己，只是由真我存在着。 所以AI的诞生是必然的，它整套运作机制，就是整个人类社会的缩影和骨架。 镜头拉远，在社会意义上，我们看到2023年4月，身在多伦多的图灵奖得主辛顿向谷歌提出辞职。辛顿离职，是为了能够“自由地谈论人工智能的风险”。他对自己毕生的工作感到后悔，“我用一个正常的理由安慰自己：如果我没做，也会有别人这么做的。”辛顿最大的担忧是：AI很可能比人类更聪明。（现在看，这一点是毋庸置疑的） 2024年，他的学生伊利亚做了与老师同样的事，表达了类似的观点：人类也很爱猫狗，但不会想在城市修一条公路时询问猫狗的意见。 引用书中那段对话做总结： 小二：“互相琢磨，这可好玩了。当你凝视深渊时，深渊也在凝视你。” 老莫（目光一下子犀利起来）：“你说谁是深渊？

Tuesday Sept. 19, 2023 传承与未来读书会第198期的阅读分享书目是《大模型时代--CHAT GPT 开启通用人工智能时代》 作者：龙志勇，黄雯 大模型开启了人类技术的新篇章。它是后信息时代的拐点；它是科技再次爆发加速的奇点；它是人类的技术世界中的新物种。 今后的30年将是大模型时代，更深入，更泛化，更对其，更易用。跟随本书让我们一起进入大模型时代，并一起思考会对我们的生活带来怎样的变化？ 9月19日（星期二）15:30（美加西）9月19日（星期二）18:30（美加东）9月20日（星期三） 6:30（北京时间） zoom 链接：https://us02web.zoom.us/j/6047227628 zoom ID：6047227628（无密码） 今天各位嘉宾的分享很精彩！Yoyo的主持和解读非常棒！虽然这本儿书阅读起来有一定难度，但能够挑战自己，跟上时代的变化，学习掌握新知识，获得的是更大的收获！推荐阅读！ -- ☕️📚🌹

面对零成本但同质化的智能时，找到自己的好奇和兴趣、个性和真情。 面对变化和不确定时，利用批判性思维、试错和迭代来解决问题。

很不错的一本关于大模型的科普书，为了辅助阅读记忆，前两章我用思维导图梳理。这本书有趣的一点在于，作者用模拟对话的方式，让非技术读很容易理解和掌握技术原理。 GPU的高性能计算推动了AI大模型的发展，AI大模型也不断对GPU提出迭代要求。两者互相成就。 对大模型时代到来的期待和通用人工智能对人类带来好处的同时，也存在AI对能源消耗的增长问题和AI是否会对人类造成威胁的问题。 目前AI的能源消耗占全球能源消耗的约3%。据说到2025年，AI将消耗15%的全球电力供应。 2023年3月29日，马斯克联名千余科技领袖，呼吁暂停开发AI。4月辛顿向谷歌提出辞职，对自己毕生的工作感到后悔，担心AI可能比人类更聪明。 大模型的商业模式还处于比较早期，卖算力是目前商业模式最清晰，来钱也快的领域。MaaS和IaaS相比有一个好处就是飞轮效应。云计算是数字领域的水电煤，但水电煤并没有飞轮效应，只有规模效应。 ChatGPT的商业模式究竟更像苹果还是谷歌呢？综合来看，苹果模式的商业回报率相对稳健，但规模受限。谷歌模式的用户天花板更高，但商业化较为不确定。 谷歌担心冲击主营搜索业务，新业务替代搜索业务但商业化汇报率不足，将极大影响谷歌市值。百度的文心一言估计也有同样的担心吧。 好生意最基本的一条要清楚是否能从用户价值里挣到钱，第二条是进阶要求，要创造一个以前不存在或者做不到的新市场。就像二次工业革命汽车代替马车一样。如果技术变革只能导致裁员，没办法创造新的就业机会，是不能长期立足的。

2023年度阅读16|36 《大模型时代：ChatGPT开启通用人工智能浪潮》 书名有三个关键词，我个人做个简单介绍—— ①大模型：经过深度学习而形成的神经网络模型，因其参数量从1亿、15亿在版本迭代中快速窜升1750亿乃至更大，所以称之为大模型。 ②ChatGPT：OpenAI公司从GPT1、GPT2一直研究到GPT3，在此技术基础上于2022年发布语言模型ChatGPT，然后出圈火了，引爆全球（至少我就是因为ChatGPT才了解到这块的，在它之前我从未关注AI）。 ③通用人工智能（AGI）：Artificial General Intelligence，这个概念我的理解是指泛化能力极强的人工智能，可以应用于几乎所有场景、领域，并作为更为专业化垂直化应用层的基础。泛化是指用某一数据集训练的模型能够处理全新领域的数据，就像ChatGPT上能敲敲代码做学术，下能辅导功课聊聊天。OpenAI官方使命就是研发通用人工智能，ChatGPT也确实算得上本科生水准的AGI。 然后是这本书的代序，这篇文章非常全面地介绍大模型的前世今生、原理和技术变革的影响。堪比全书正文干货量，很值得一看！ ————分界线———— 标题说完，进入全书正文四大部分（顺序做部分调整），技术篇、应用篇、产业篇和变革篇。 【GPT技术篇】 ①G：Generative生成式；GPT专注单向编码，根据给出的上文，预测下文第一个字是什么，通过反复文字接龙生成内容，这就叫生成式。而它的同族兄弟BERT则是双向编码，捂住句子某处，根据上下文预测捂住的内容。 ②P：Pre-training预训练；在海量文本数据里训练一个简单的本事——根据给出的上文预测下一个字，周而复始生成内容。根据预测答案和实际答案的差异生成损失函数，反向传播，让模型达到对训练数据集更好的拟合。这一整个训练过程自己训练自己批改，不需要人类做批注，所以这也叫自回归、自监督的预训练。 ③T：Transformer转换器；GPT模型是Transformer家族里自然语言处理模型的一员，Transformer模型很好理解，它可以把人类输入文本转化为电脑理解的数据向量，它是横跨于人类自然语言和计算机机器语言的沟通桥梁，是一切后发的自然语言模型的基础模块。 关于“涌现”：GPT在更新迭代时会不可预测地涌现新技能，比如GPT1只是粗糙地预测下文，参数变大十几倍后，GPT2突然“学”会了翻译，参数规模继续往上，会突然产生一个有情感分析功能的单元，而这些都是出乎训练目的的。随着GPT继续迭代，人类无法预估它会继续涌现什么功能单元。 关于“幻觉”：GPT训练过程的唯一目的就是最小化“预测内容”和“最优答案”之间的差值，更好地拟合人类文本，换句话说，它其实无法理解文本实际意思，但它可以无限逼真地模拟人讲话，不可避免地生成一些似是而非的内容应付用户问题，这些虚假内容就是生成式AI的幻觉。 【C端应用篇】 配合GPT问答，讲了各种生活工作中的具体应用，或提高效率，或提供创意。看原文，跟着做，自己迭代经验。 【B端产业篇】 按照“硬件基础设施”“软件基础设施”“模型即服务MaaS”“应用层”依次展开，属于宏观视角的行业分析。略，离我太远。 【科技变革篇】 新的技术带来更高的效率，取代旧有人力，这是新技术的“取代效应”。这会引起原有兴业人员的恐慌和抵制，严重时引发“摧毁创新机器”的社会暴乱。这是每次技术变革都重复出现的社会现象。 但随着时间的推移、产业的完善，社会会衍生出新的行业和岗位，从而吸纳跟上新技术发展的人力，即所谓“汽车淘汰了马夫，也诞生了汽车司机”，这是新技术的“使能效应”。 这次（生成式）人工智能变革，也许会继续押着历史的韵脚。

《大模型时代：ChatGPT开启通用人工智能浪潮》围绕生成式大语言模型（Large Language Model）的技术突破与产业影响展开，主要内容可概括为四个方面： 1. ​​技术原理与演进​​ 书中以拟人化的方式解释了 ChatGPT 等大模型背后的原理，帮助读者理解生成式预训练、大规模参数带来的语言理解与生成能力，并回顾三次工业革命的逻辑，类比大模型带来的智能革命。 2. ​​产业与社会变革​​ 作者指出，大模型将驱动社会进入“脑机协作”时代，重塑个人工作方式和企业业务流程，类比蒸汽机、电力、互联网的历次工业革命，强调大模型可能引发的智力革命与产业重构。 3. ​​行业应用与实践​​ 书中列举了大模型在知识工作、商业企业、创意娱乐等场景的具体应用，并给出企业在落地过程中需注意的方法论与风险控制要点。 4. ​​生态构建与风险预警​​ 最后一部分梳理了国内外大模型产业链的构成与发展现状，同时提醒读者关注与机会并存的泡沫隐患，为政策制定者、企业和个人提供应对建议。 简言之，本书既是一本大模型技术的通俗解读，也是一部探讨 AI 产业革命与应用实践的综合报告，旨在帮助读者把握大模型时代的机会、应对挑战。

大模型兴趣入门书籍，推荐技术篇与变革篇，技术篇用非常生动的故事，讲述了大模型中的基本概念，完全不需要有大模型的技术背景知识。变更篇讲述了新技术革命对劳动人民的影响，如果新技术影响面足够大，通过降低产品，提升竞争力，扩大产品市场，新增新的劳动岗位，这些最终会形成更好的工作机会，提升劳动人民的收入。但是这里面就会涉及到教育培养的变化，对应到自身需要学习新的技能，如何利用新技术，提升自身的竞争力。产业篇提到的MaaS相比IaaS，不仅具备规模效应，同时还具备飞轮效应，用户的数据上来，不断提升模型能力，从而吸引更多用户上云。

本书《大模型时代：人工智能的技术飞跃与应用伦理前瞻》由龙志勇和黄雯合著，于2023年5月1日由中译出版社（原中国对外翻译出版公司）出版。本书主要探讨了人工智能领域中大模型技术的发展及其应用伦理的前景。 在当今数字化和信息化的社会中，人工智能技术已经成为一个重要的支柱。其中，大模型技术是近年来人工智能领域最引人注目的进展之一。本书对大模型技术的定义、发展历程、技术特点以及当前的应用领域进行了全面的介绍。通过深入浅出的解释和生动的案例，作者使得这项高深的技术更易于理解，让读者能够更好地理解大模型技术在各个领域的应用和潜力。 除了技术层面的介绍，本书也深入探讨了应用伦理的问题。人工智能技术的发展给我们的生活带来了很多便利，但同时也带来了一些伦理和道德的问题。作者在大模型技术的应用前景、对人类社会的影响以及可能产生的伦理问题等方面进行了深入的分析和思考。他们提出了很多具有前瞻性的观点和建议，提醒我们在追求技术进步的同时，也要重视道德和伦理的问题，确保人工智能技术的发展能够更好地服务于人类社会。 对于很多人来说，大模型技术带来的数据隐私、算法偏见等问题是令人担忧的。然而，作者在书中也提到了一些解决这些问题的途径。例如，加强监管和规范，确保数据隐私得到保护；推广可解释性的算法，让人们能够理解算法的决策过程；以及推动多元化和包容性的算法设计，避免偏见和歧视。 总的来说，本书是一本全面介绍大模型技术及其应用伦理的前瞻性著作。它不仅让读者了解这项技术的发展和应用，更引导读者思考和探讨人工智能的道德和伦理问题。对于对人工智能技术感兴趣的读者，这本书无疑是一份宝贵的财富。同时，这本书也提醒我们，在追求技术进步的同时，我们也应该重视道德和伦理的问题，让人工智能技术的发展更好地服务于人类社会。

很好的大模型世代 简介和了解的书,里面的对话式写作很新颖(对我来说),结构很清晰,接下来就是具体了解大模型的内部了!