从零开始写大模型

内容简介

本书全面、系统地介绍从神经网络到Transformer的相关知识，为读者构建大模型打好基础，本书写了一个27MB参数的大模型，详细地为读者展示大模型构建的过程。本书共20章，第1、2章介绍神经网络的基础与典型神经网络，带领读者手推前向与反向传播、写一个神经网络；第3、4、5章介绍编解码-神经网络架构、Tokenlization与数学基础；第6、7、8、9章详细介绍Transformer各模块的基本原理；第10章介绍Transformer模型的超参数，并在第11章给出Transformer实现代码；第12、13、14章介绍Transformer面试常见问题、最新模型及Transformer模型的各种变体；第15到20章是GPT模型构建实战，包括MiniMind大模型案例构建、MiniMind代码详解、MiniMind安装、MiniMind训练、MiniMind微调、Minimind推理。 本书通俗易懂，入门门槛低，适合理工科学生、刚走上工作岗位的开发人员、准备了解或转型从事生成式AI的从业人员、计算机相关专业的学生、准备参加大厂算法面试等人员阅读，也适合相关高等院校作为教材。

读者书评

书籍信息