ChatGPT的基本原理与核心算法
邓志东
51人在读
19.4万字总字数
¥46.92定价
邓志东
基于GPT-3.5和人类反馈强化学习（RLHF）的ChatGPT，是人工智能的最新突破性进展。比尔-盖茨认为：“ChatGPT堪比PC或互联网重要”。作为一种变革性的知识型生产与补全工具，ChatGPT已带动了继AlphaGo之后人工智能的第二次全球热潮，有可能给人类经济社会带来颠覆性的变革。本书系统地介绍了ChatGPT的基本原理、核心算法与关键技术及其对未来经济社会带来的颠覆性变革。全书共分7章，主要内容涉及：第一章 绪论；第二章 从LSTM到Transformer；第三章 GPT系列预训练大型语言模型；第四章 ChatGPT的基本原理与核心算法；第五章 ChatGPT的主要功能与应用举例；第六章 ChatGPT为基座构建生成式人工智能产业；第七章 通用人工智能对未来经济社会的颠覆性变革。本书结构严谨，系统性强，逻辑严密，内容丰富，特色鲜明，具有引领性、前瞻性和启迪性。本书可作为人工智能、智能科学与技术、计算机科学与技术及相关专业的研究生教材，也可供上述专业的科研人员与高年级本科生学习参考之用。
1)网络结构 图2.1的递归神经网络具有最简单的网络结构，可采用动态误差反向传播算法进行完全监督学习，这实际就是Elman网络(Elman, 1990)。图2.8给出了Elman网络的结构示意图。从图中可以看出，Elman网络具有与前馈神经网络完全相同的输入层、隐层及输出层，区别仅在于它还具有一个独特的上下文结构单元层，且该层记忆了上一时间步的隐层状态，可看成一个一步时延算子。此时，该网络在第k时间步的输入不仅包括了目前的输入值uk，同时还包括了前一时间步的隐层状态xk-1。两者各自通过递归神经网络的共享连接权矩阵U、W共同作用于隐层输入，然后再通过共享连接权矩阵V，继续作用于整个网络的输出层。