ChatGPT的基本原理與核心算法
鄧志東
51人在讀
19.4萬字總字數
¥46.92定價
鄧志東
基於GPT-3.5和人類反饋強化學習（RLHF）的ChatGPT，是人工智能的最新突破性進展。比爾-蓋茨認爲：“ChatGPT堪比PC或互聯網重要”。作爲一種變革性的知識型生產與補全工具，ChatGPT已帶動了繼AlphaGo之後人工智能的第二次全球熱潮，有可能給人類經濟社會帶來顛覆性的變革。本書系統地介紹了ChatGPT的基本原理、核心算法與關鍵技術及其對未來經濟社會帶來的顛覆性變革。全書共分7章，主要內容涉及：第一章 緒論；第二章 從LSTM到Transformer；第三章 GPT系列預訓練大型語言模型；第四章 ChatGPT的基本原理與核心算法；第五章 ChatGPT的主要功能與應用舉例；第六章 ChatGPT爲基座構建生成式人工智能產業；第七章 通用人工智能對未來經濟社會的顛覆性變革。本書結構嚴謹，系統性強，邏輯嚴密，內容豐富，特色鮮明，具有引領性、前瞻性和啓迪性。本書可作爲人工智能、智能科學與技術、計算機科學與技術及相關專業的研究生教材，也可供上述專業的科研人員與高年級本科生學習參考之用。
1)網絡結構 圖2.1的遞歸神經網絡具有最簡單的網絡結構，可採用動態誤差反向傳播算法進行完全監督學習，這實際就是Elman網絡(Elman, 1990)。圖2.8給出了Elman網絡的結構示意圖。從圖中可以看出，Elman網絡具有與前饋神經網絡完全相同的輸入層、隱層及輸出層，區別僅在於它還具有一個獨特的上下文結構單元層，且該層記憶了上一時間步的隱層狀態，可看成一個一步時延算子。此時，該網絡在第k時間步的輸入不僅包括了目前的輸入值uk，同時還包括了前一時間步的隱層狀態xk-1。兩者各自通過遞歸神經網絡的共享連接權矩陣U、W共同作用於隱層輸入，然後再通過共享連接權矩陣V，繼續作用於整個網絡的輸出層。