深度学习高手笔记 卷1：基础算法

《深度学习高手笔记》作者刘岩是知乎的Aⅰ神级人物，从new Bing上问答关于Aⅰ方面的问题，时会引用他在知乎专栏下的文章，其实所谓Ai智能也是学习而矣，作者整理文章后完成了本套关于深度学习的图书。 而关于GPT的陈述，相对很多专业技术书来说，这本书也解剖得最为透彻。 作者说：作为自然语言处理，凭借Transformer强大的表征能力，OpenAI提出的GPT系列通过海量的数据和庞大的模型不断试探着Transformer的最佳效果，它通过文本数据的上下文关系为训练语言模型提供了天然的数据，常见的上下文关系如下。 ● 传统语言模型：使用之前的序列预测下一个出现的单词。 ● 掩码语言模型(MLM)：句子中每个单词有一定的概率被替换为掩码，MLM根据出现的单词预测被替换为掩码的单词。 ● 下一句预测(next sentence prediction，NSP)模型：用于判断两个句子是否为连续的上下文。 这种数据的优点是无须人工标注，因此在很多文献中使用这种数据的深度学习方法被叫作无监督学习。 通用预训练Transformer(generative pre-trained Transformer，GPT)系列是由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果，如文章生成、代码生成、机器翻译、问答等，而完成这些任务并不需要有监督学习进行模型微调。对于一个新的任务，在使用GPT作为预训练模型之后，我们训练这个任务时仅需要极少的数据，便可以得到近似使用大数据训练的模型的结果。如此强大的功能并不是一个简单的模型能搞定的，GPT模型的训练需要超大的训练语料、超多的模型参数和超强的计算资源。 作者从GPT-1开始分析它们的迭代，分析的结果有利于我们应用者怎么通过prompt用好GPT。 GPT-1：无监督学习，GPT-1的思想是先通过在无标签的数据上学习一个通用的语言模型，然后根据特定任务进行微调，其处理的有监督任务如下。 ● 自然语言推理(natural language inference)：判断两个句子是包含(entailment)关系、矛盾(contradiction)关系，还是中立(neutral)关系。 ● 问答和常识推理(question answering and commonsense reasoning)：类似于多选题，输入一篇文章、一个问题以及若干个候选答案，输出每个答案的预测概率。 ● 语义相似度(semantic similarity)：判断两个句子语义上是否相关。 ● 分类(classification)：判断输入文本属于指定的哪个类别。 将无监督学习作用于有监督模型的预训练目标，叫作通用预训练。 GPT-1使用了BooksCorpus数据集，作者选这个数据集的原因有二：数据集拥有更长的上下文，使得模型能学得更长期的依赖关系；该数据集很难在下游数据集上见到，更能验证模型的泛化能力。 GPT-1使用了12层的Transformer和掩码自注意力头，掩码使模型看不见之后的信息，得到的模型泛化能力更强。 GPT-1证明了Transformer学习语言模型的强大能力，在GPT-1得到的词向量基础上进行下游任务的学习，能够让下游任务取得更好的泛化能力。对于下游任务的训练，GPT-1往往只需要简单的微调便能取得非常好的效果。 GPT-1在未经微调的任务上虽然也有一定效果，但是其泛化能力远远低于经过微调的有监督任务，说明了GPT-1只是一个简单的领域专家，而非通用的语言学家。 而GPT-2的目标是训练一个泛化能力更强的预训练语言模型，它并没有对GPT-1的网络进行过多的结构上的创新与设计，只是使用了更多的网络参数和更大的数据集。 GPT-2的核心思想可以概括为：任何有监督任务都是语言模型的子集，当模型的容量非常大且数据量足够丰富时，仅仅靠训练语言模型的学习便可以完成其他有监督任务。 GPT-2的数据集取自Reddit上高赞的文章，命名为WebText。数据集共有约800万篇文章，累计大小约40GB。 GPT-2训练了4个层数和词向量长度不同的模型，具体值如表5.2所示。通过论文中提供的实验数据，我们可以看出随着模型的增大，模型的效果是不断提升的。 对比GPT-1，GPT-2引入了更多的参数和训练集，它通过提示学习(prompt learning)的思想，将更复杂的语义信息加入预训练任务中，因此可以在很多无监督的数据集下取得当时最优的效果，具体如下。 ● 在8个语言模型任务中，仅仅通过零样本学习(zero-shot learning)，GPT-2就达到了7个任务中的最优值。 ● 在“Children’s Book Test”数据集上的命名实体识别任务中，GPT-2超过了当时最优的方法约7%。 ● “LAMBADA”是测试模型捕捉长期依赖的能力的数据集，GPT-2将困惑度从99.8%降到了8.6%。 ● 在阅读理解数据中，GPT-2超过了4个基线模型中的3个。 ● 在法译英任务中，GPT-2在零样本学习的基础上，表现超过了大多数的自监督方法，但是比有监督的先进模型要差。 ● GPT-2在文本总结的表现不理想，但是它的效果和有监督的模型非常接近。 GPT-2的最大贡献是验证了通过海量数据和大量参数训练出来的预训练语言模型可以迁移到其他类别任务中而不需要额外的训练。 GPT-3是目前最强大的预训练模型，仅仅需要零样本学习或者少样本学习，GPT-3就可以在下游任务表现得非常好。除了几个常见的NLP任务，GPT-3在很多非常困难的任务上也有惊艳的表现，例如撰写人类难以判断是否由机器生成的文章，甚至编写SQL查询语句、React或者JavaScript代码等。而这些强大能力则依赖于GPT-31750亿的参数数量、45TB的训练数据以及高达1200万美元的训练费用。除了引入大量数据，模型优化的另外一个方向则是提供容量足够大的Transformer模型来对语言模型进行建模。而近年来使用大规模的网络来训练语言模型也成了非常行之有效的策略，这也促使GPT-3一口气将模型参数数量提高到1750亿个。 GPT-3共训练了5个不同的语料数据集，分别是低质量的Common Crawl、高质量的WebText2、Books1、Books2和Wikipedia，GPT-3根据数据集质量的不同赋予了其不同的权值，权值越高的数据集在训练的时候越容易抽样到 模型上GPT-3沿用了GPT-2的结构，但是在网络容量上做了很大的提升。 GPT系列从1到3，全部采用的是Transformer架构，可以说并没有创新性的模型架构设计。在Microsoft的资金支持下，这更像是一场“赤裸裸的炫富”：1750亿的参数，31个分工明确的作者，超强算力的计算机（285000个CPU、10000个GPU），1200万美元的训练费用，45TB的训练数据（Wikipedia的全部数据只相当于其中的0.6%）。这种规模的模型是一般中小企业无法承受的，而个人花费巨额配置的单卡机器也就只能做做微调或者打打游戏，甚至在训练GPT-3时出现了一个bug，OpenAI自己也没有资金重新训练了。 作者说：理解了GPT-3的原理，我们就能客观地看待媒体对GPT-3的过分神化了。GPT-3的本质还是通过海量的参数学习海量的数据，然后依赖Transformer强大的拟合能力使得模型能够收敛。基于这个原因，GPT-3学到的模型分布也很难摆脱它的数据集的分布情况。得益于庞大的数据集，GPT-3可以完成一些令人感到惊喜的任务，但是GPT-3也不是万能的，对一些明显不在这个分布或者和这个分布有冲突的任务来说，GPT-3还是无能为力的。 GPT-3还是有很多缺点的： ● 对于一些命题没有意义的问题，GPT-3不会判断命题有效与否，而是拟合一个没有意义的答案出来； ● 由于40TB的海量数据的存在，很难保证GPT-3生成的文章不包含一些非常敏感的内容，如种族歧视、性别歧视、宗教偏见等； ● 受限于Transformer的建模能力，GPT-3并不能保证生成的一篇长文章或者一本图书的连贯性，存在下文不停重复上文的问题。 他强调在此基础上必将落地更多有趣的AI应用。近年来，硬件的性能在飞速发展，而算法的研究似乎遇到了瓶颈，GPT-3给“冷清”的AI领域注入了一剂“强心剂”，告诉各大硬件厂商它们的工作还要加油，只要算力足够强，AI的性能还有不断提升的空间。 GPT-3如此高昂的计算代价也引发了一些关于AI领域垄断的担心，对于如此高的算力要求，中小企业是否有能力负担，或者对这些企业来说，是否有必要花这么多钱训练一个预训练语言模型。长此以往，恐怕会形成AI“巨头”对算力要求高的算法的技术垄断。 当然，本书出版的时候GPT-4 还没有出来，现在GPT-4 vs GPT-3又大幅提升，差异在于： 大小：GPT-4比GPT-3大得多，具有1.8万亿个参数，而GPT-3只有1750亿个参数。 数据：GPT-4使用更多样化和更大的1PB数据集，而GPT-3使用较小的45TB数据集。 架构：GPT-4使用混合训练系统，将自我监督学习和监督学习相结合，而GPT-3仅使用自我监督学习。 性能：根据OpenAI提供的数据，GPT-4声称在某些自然语言基准测试和测试（如GLUE、SuperGLUE、SQuAD等）上实现了“人类水平的性能”。它在一些自然语言理解（NLU）和自然语言生成（NLG）指标（如BLEU、ROUGE等）上也优于GPT-3。 应用：GPT-4可以执行各种自然语言任务，例如文本摘要、问答、文本生成、情感分析、机器翻译等。它还可以使用自然语言提示或说明在单个文本中处理多个任务。GPT-3也可以执行各种自然语言任务，但精度和多样性不如GPT-4。 是的， GPT系列的模型架构秉承了不断堆叠Transformer的思想，通过不断提升训练语料的规模和质量、增加网络的参数数量来完成GPT系列的迭代更新。GPT也证明了，通过不断提升模型容量和语料规模，模型的能力是可以不断提升的。 GPT看来一直在暴力升级之中，其实也论不到我们担心什么，我们的经历启示是：你不用跑得过老虎，只需比别人快上一点儿。

说好，东西挺多，内容丰富，写的相对详细 说差，受众面小，数学公式挺多，代码较少，数学公式对不对不知道，简单些的能看懂，一长串复杂也不大好看 建议出个第二版，减少数学公式，多增加代码实现部分，个人认为数学比较精通的，这里没具体公式也清楚，不清楚数学公式的放这么一堆也难理解，如果非要放公式，最好对这些公司符号做个基础说明，求和，乘法，还是加权等等，主要是哪那些不常见的符号

非常失望，不系统，全是模型解读。卷1包含卷积神经网络，自然语言处理，模型优化三部分，给我的感觉就是不系统，我想看到的是作者能把整个自然语言处理的环节都介绍到，从分词，词向量化的几种算法，再到下游的应用介绍，应用不同的话，网络结构和输出方式有何不同。模型优化作者也没有讲完整，只讲了dropout和各种normal，但是常用的学习率，学习率下降策略，weight-decay，过拟合，欠拟合这些都没讲。

这个年代，出这种质量的书真是滥竽充数。

现在还挺好的，比较新，重要的技术都有讲到，讲得挺详细