從零開始寫大模型

內容簡介

本書全面、系統地介紹從神經網絡到Transformer的相關知識，爲讀者構建大模型打好基礎，本書寫了一個27MB參數的大模型，詳細地爲讀者展示大模型構建的過程。本書共20章，第1、2章介紹神經網絡的基礎與典型神經網絡，帶領讀者手推前向與反向傳播、寫一個神經網絡；第3、4、5章介紹編解碼-神經網絡架構、Tokenlization與數學基礎；第6、7、8、9章詳細介紹Transformer各模塊的基本原理；第10章介紹Transformer模型的超參數，並在第11章給出Transformer實現代碼；第12、13、14章介紹Transformer面試常見問題、最新模型及Transformer模型的各種變體；第15到20章是GPT模型構建實戰，包括MiniMind大模型案例構建、MiniMind代碼詳解、MiniMind安裝、MiniMind訓練、MiniMind微調、Minimind推理。 本書通俗易懂，入門門檻低，適合理工科學生、剛走上工作崗位的開發人員、準備瞭解或轉型從事生成式AI的從業人員、計算機相關專業的學生、準備參加大廠算法面試等人員閱讀，也適合相關高等院校作爲教材。

讀者書評

書籍信息