大模型時代：ChatGPT開啓通用人工智能浪潮

純陽書評第562期《大模型時代》 技術的進化從來都會超越人們的想象，就在人們還沉浸在基於規則的人工智能幻象之中，人工智能已經叩開了大模型時代的大門，人工智能終究還是沒有走通那條以規則遍歷爲邏輯的構建之路，而是出人意料地走上了凱文凱利神諭式的從“不可控、不可知、不可測”中湧現智慧、集愚成智的湧現之路。 越是不可思議的事件發生，給人們帶來的衝擊往往越爲深重，越值得人們去關注、理解並適應。那麼什麼是大模型，什麼是大模型的生成邏輯，大模型到底有什麼價值和意義？ 本書以上述問題爲主題，逐級爲讀者勾畫了一幅大模型時代的知識概覽，具體看點有三，內容如下： 第一、善於比喻，化抽象爲具體 在智能科技的浩瀚星海中，大模型就像一顆璀璨奪目的新星，它的光芒雖然耀眼，卻讓許多人感到燒腦。爲了幫助讀者理解這顆新星的奧祕，本書巧妙地創造了兩個角色——老莫和小二，通過老莫和小二的對話，本書將大模型的訓練生成和推理邏輯娓娓道來，既降低了理解的難度，又增加了閱讀的趣味。通過一場對話，我們跟隨着老莫和小二，一起探索大模型的奧祕，不僅能理解大模型的運行機制，更能讓我們在輕鬆愉快的閱讀中，感受到湧現的魅力。 第二、善於切題，抓住核心邏輯 寫書和寫作文的本質是相通的，都是在文字的世界裏構建一座思想之塔。無論是寫一本書還是一篇作文，一旦主題確立，最重要的任務就是圍繞這個中心，精心選擇材料。 作者的主題把握得恰到好處，能夠準確地找到大模型的要害，抓住它的主要方面和核心邏輯。比如在技術篇他把墨水重點投向了chat是怎樣煉成的、大模型的幻覺是如何出現。正向鎖定的是預訓練、微調優化和強化學習，精準地把握住了大模型的關鍵環節，反向鎖定的是大模型幻覺，讓讀者在清晰地看到大模型的內在結構和運行機制的同時，清醒地認識到大模型這套神邏輯所帶來的不可避免的病弊。 第三、善於構建，邏輯結構清晰 作者的結構組織得層次清晰，這種清晰既體現在整體結構上，也體現在局部結構上，從整體結構上技術篇開局，變革篇後繼，應用篇跟隨，產業篇收尾，乾脆利落，毫不拖泥帶水，每一篇都是整體知識圖譜上的一塊拼圖，它們相互連接，形成了一幅完整的大模型知識圖譜，相互之間又形成了一種依賴關係。 在局部結構上，本書也展現出了作者的佈局和講述功力。例如，在產業篇中，作者從硬件基礎設施入手，逐級向上構建，以軟件基礎設施、MAAS（模型即服務）爲後繼，到應用層作爲收尾。在詳細闡述了當前技術產業在每一層的佈局情況基礎上，展望分析各層的發展現狀、未來趨勢和潛在的商業機會。 一句話，無論講的內容是什麼，主打的就是一個清晰，就是一個符合邏輯，所以讀完以後，會覺得很值得回味。 ​

🤖️某種意義上說，一個人腦就是一個模型。頭腦接收到的第一手信息就是海量參數，大腦神經元就是接收數據的中央處理單元CPU，歸納就是深度學習和文本提取，演繹就是生成新內容，根據外界反應進行自我識別就是監督學習，社會期待和人生任務指標就是獎勵模型的標準答案，腦子突然開竅就是湧現… 這樣看來，心與腦的確有云泥之別。 ———————————— 全書分爲四個篇章 1.技術篇-用生動的方式科普了大語言模型LLM（Large Language Model ）本身。它到底是什麼？在幹什麼？它何以成爲現在的樣子？ 2.變革篇-人類如何應對AGI（Artificial General Intelligence ）及整個智能浪潮帶來的變化。 3.應用篇-企業在何場景下如何讓大模型參與工作，提高效益。 4.產業篇-大模型相關產業由哪些構成，其各自的商業模式、發展現狀和趨勢如何？ 就以個人受益較多的1、2篇做個總結 ⭐️【技術篇】： 談論一個問題，要先對問題的對象有清晰的認知。 從ChatGPT說起，引出在它強大的表現背後其內核是大語言模型LLM，ChatGPT是LLM的其中一個應用形式。 顧名思義 P：Pre-trained 大模型以海量的數據爲基底進行預先的訓練，這些數據來源包括：維基百科、圖書、雜誌期刊、Reddit鏈接、Common Crawl和其他。在GPT-3中使用的數據集大小有700多GB，5000億左右的token數量，如果換算爲中文字數，約有19萬套四大名著的閱讀量（四大名著共計約262萬字）。這些信息形成一座巨大的圖書館，供大模型使用。 G：Generative，生成式，就是根據給出來的上文，預測後面的文字是什麼，通過文字接龍生產出新的內容。所以大模型對文本進行從左到右地單向編碼、單向預測。 和傳統的BERT檢索式模型不同，生成式是根據圖書館裏掌握的信息，創造新的內容，而不是簡單的在圖書館搜尋對應信息。 T：Transformers ✨關於大模型的幾個重要訓練方式： ｛深度學習｝個人理解爲從表象中提取、抽象、歸納的能力 ｛監督學習｝模型通過外界提供的標準答案，調整自身的認知。相當於看到一頭熊後，通過分析，知道這是一頭什麼品種的熊，然後對答案，看看自己的認知正不正確。 ｛強化學習｝模型通過與外界交互，通過外界的反饋，調整自身做法。相當於看到一頭熊後，大腦決定是逃跑還是裝死。 於是我們可以說大模型的訓練分爲這三步： 1⃣️生成式預訓練（模型自己猜測文本後面的字該說什麼，就像輸入法聯想一樣，然後自行對答案） 2⃣️監督微調（這一步主要加入了一問一答對話互動，不只是在自己單獨預測。第一步中已經存在自監督即自己對答案的模式了） 3⃣️人類反饋強化學習（Reward Model 獎勵模型參與進來，相當於陪練老師的角色） 這樣一來大模型得以優化、優化、再優化 ⭐️變革篇： 這裏講如何應對 一方面，由於坐擁全人類的精選知識作爲預訓練輸入，大模型像一個閱書無數的圖書管理員。經過監督學習和強化學習激發了類比、推理等多種湧現能力之後，大模型又變得多才多藝、能思善辯。它能部分模仿人類的思維能力，但又比任何一個人類都更具備全面性的優勢，能有效促進全球知識的跨領域整合、交叉分析，幫助發現不同領域之間的潛在聯繫，有機會產生或激發出新的知識。 另一方面 1⃣️它的強大同時也帶來了不確定性。比如它會說謊，這需要我們人類在使用大模型時具備一定的獨立思辨能力，面對大模型呈現出的方案和回答時，我們需要問：回答全面否？真實否？合理否？可行有效否？ 2⃣️大模型的強大能力的展現，需要一定的提問水平作爲前提，你的問題和指令要清晰具體，體現動機。問就是答，如這個世界一樣，大模型也是一面鏡子。 3⃣️這一篇裏還討論了大多數人關注的問題——就業與科技（說到底是教育與科技） 技術的變革勢必帶來崗位的減少，但另一面是：新東西新服務新產品新模式導致的市場規模變大（具有滯後性，需要時間）。增量市場也將相當程度上增加新崗位的需要。教育和科技之間的較量本身是一場拉力賽，需要我們用發展的眼光看待。 💕最後談談它對自己更深一層的啓發： 強化學習過程中，Reward Model(獎勵模型)扮演者重要的角色，它的評估決定大模型如何進行調整。那麼把視角放到個人生活中看，那些社會中可以打分的人（我們願接受對方評估的人），親朋師友、上下左右，外界的反饋，不斷調整着（優化着）我們向外輸出和內在思維的內容和方式，進一步，是靈魂對自我的評價，外界的評價已經不再重要了，同時也會發現，他人對我的評價實際上就是我對我的評價，直至最後連自己也不再評價自己，只是由真我存在着。 所以AI的誕生是必然的，它整套運作機制，就是整個人類社會的縮影和骨架。 鏡頭拉遠，在社會意義上，我們看到2023年4月，身在多倫多的圖靈獎得主辛頓向谷歌提出辭職。辛頓離職，是爲了能夠“自由地談論人工智能的風險”。他對自己畢生的工作感到後悔，“我用一個正常的理由安慰自己：如果我沒做，也會有別人這麼做的。”辛頓最大的擔憂是：AI很可能比人類更聰明。（現在看，這一點是毋庸置疑的） 2024年，他的學生伊利亞做了與老師同樣的事，表達了類似的觀點：人類也很愛貓狗，但不會想在城市修一條公路時詢問貓狗的意見。 引用書中那段對話做總結： 小二：“互相琢磨，這可好玩了。當你凝視深淵時，深淵也在凝視你。” 老莫（目光一下子犀利起來）：“你說誰是深淵？

Tuesday Sept. 19, 2023 傳承與未來讀書會第198期的閱讀分享書目是《大模型時代--CHAT GPT 開啓通用人工智能時代》 作者：龍志勇，黃雯 大模型開啓了人類技術的新篇章。它是後信息時代的拐點；它是科技再次爆發加速的奇點；它是人類的技術世界中的新物種。 今後的30年將是大模型時代，更深入，更泛化，更對其，更易用。跟隨本書讓我們一起進入大模型時代，並一起思考會對我們的生活帶來怎樣的變化？ 9月19日（星期二）15:30（美加西）9月19日（星期二）18:30（美加東）9月20日（星期三） 6:30（北京時間） zoom 鏈接：https://us02web.zoom.us/j/6047227628 zoom ID：6047227628（無密碼） 今天各位嘉賓的分享很精彩！Yoyo的主持和解讀非常棒！雖然這本兒書閱讀起來有一定難度，但能夠挑戰自己，跟上時代的變化，學習掌握新知識，獲得的是更大的收穫！推薦閱讀！ -- ☕️📚🌹

面對零成本但同質化的智能時，找到自己的好奇和興趣、個性和真情。 面對變化和不確定時，利用批判性思維、試錯和迭代來解決問題。

很不錯的一本關於大模型的科普書，爲了輔助閱讀記憶，前兩章我用思維導圖梳理。這本書有趣的一點在於，作者用模擬對話的方式，讓非技術讀很容易理解和掌握技術原理。 GPU的高性能計算推動了AI大模型的發展，AI大模型也不斷對GPU提出迭代要求。兩者互相成就。 對大模型時代到來的期待和通用人工智能對人類帶來好處的同時，也存在AI對能源消耗的增長問題和AI是否會對人類造成威脅的問題。 目前AI的能源消耗佔全球能源消耗的約3%。據說到2025年，AI將消耗15%的全球電力供應。 2023年3月29日，馬斯克聯名千餘科技領袖，呼籲暫停開發AI。4月辛頓向谷歌提出辭職，對自己畢生的工作感到後悔，擔心AI可能比人類更聰明。 大模型的商業模式還處於比較早期，賣算力是目前商業模式最清晰，來錢也快的領域。MaaS和IaaS相比有一個好處就是飛輪效應。雲計算是數字領域的水電煤，但水電煤並沒有飛輪效應，只有規模效應。 ChatGPT的商業模式究竟更像蘋果還是谷歌呢？綜合來看，蘋果模式的商業回報率相對穩健，但規模受限。谷歌模式的用戶天花板更高，但商業化較爲不確定。 谷歌擔心衝擊主營搜索業務，新業務替代搜索業務但商業化彙報率不足，將極大影響谷歌市值。百度的文心一言估計也有同樣的擔心吧。 好生意最基本的一條要清楚是否能從用戶價值裏掙到錢，第二條是進階要求，要創造一個以前不存在或者做不到的新市場。就像二次工業革命汽車代替馬車一樣。如果技術變革只能導致裁員，沒辦法創造新的就業機會，是不能長期立足的。

2023年度閱讀16|36 《大模型時代：ChatGPT開啓通用人工智能浪潮》 書名有三個關鍵詞，我個人做個簡單介紹—— ①大模型：經過深度學習而形成的神經網絡模型，因其參數量從1億、15億在版本迭代中快速竄升1750億乃至更大，所以稱之爲大模型。 ②ChatGPT：OpenAI公司從GPT1、GPT2一直研究到GPT3，在此技術基礎上於2022年發佈語言模型ChatGPT，然後出圈火了，引爆全球（至少我就是因爲ChatGPT才瞭解到這塊的，在它之前我從未關注AI）。 ③通用人工智能（AGI）：Artificial General Intelligence，這個概念我的理解是指泛化能力極強的人工智能，可以應用於幾乎所有場景、領域，並作爲更爲專業化垂直化應用層的基礎。泛化是指用某一數據集訓練的模型能夠處理全新領域的數據，就像ChatGPT上能敲敲代碼做學術，下能輔導功課聊聊天。OpenAI官方使命就是研發通用人工智能，ChatGPT也確實算得上本科生水準的AGI。 然後是這本書的代序，這篇文章非常全面地介紹大模型的前世今生、原理和技術變革的影響。堪比全書正文乾貨量，很值得一看！ ————分界線———— 標題說完，進入全書正文四大部分（順序做部分調整），技術篇、應用篇、產業篇和變革篇。 【GPT技術篇】 ①G：Generative生成式；GPT專注單向編碼，根據給出的上文，預測下文第一個字是什麼，通過反覆文字接龍生成內容，這就叫生成式。而它的同族兄弟BERT則是雙向編碼，捂住句子某處，根據上下文預測捂住的內容。 ②P：Pre-training預訓練；在海量文本數據裏訓練一個簡單的本事——根據給出的上文預測下一個字，週而復始生成內容。根據預測答案和實際答案的差異生成損失函數，反向傳播，讓模型達到對訓練數據集更好的擬合。這一整個訓練過程自己訓練自己批改，不需要人類做批註，所以這也叫自迴歸、自監督的預訓練。 ③T：Transformer轉換器；GPT模型是Transformer家族裏自然語言處理模型的一員，Transformer模型很好理解，它可以把人類輸入文本轉化爲電腦理解的數據向量，它是橫跨於人類自然語言和計算機機器語言的溝通橋樑，是一切後發的自然語言模型的基礎模塊。 關於“湧現”：GPT在更新迭代時會不可預測地湧現新技能，比如GPT1只是粗糙地預測下文，參數變大十幾倍後，GPT2突然“學”會了翻譯，參數規模繼續往上，會突然產生一個有情感分析功能的單元，而這些都是出乎訓練目的的。隨着GPT繼續迭代，人類無法預估它會繼續湧現什麼功能單元。 關於“幻覺”：GPT訓練過程的唯一目的就是最小化“預測內容”和“最優答案”之間的差值，更好地擬合人類文本，換句話說，它其實無法理解文本實際意思，但它可以無限逼真地模擬人講話，不可避免地生成一些似是而非的內容應付用戶問題，這些虛假內容就是生成式AI的幻覺。 【C端應用篇】 配合GPT問答，講了各種生活工作中的具體應用，或提高效率，或提供創意。看原文，跟着做，自己迭代經驗。 【B端產業篇】 按照“硬件基礎設施”“軟件基礎設施”“模型即服務MaaS”“應用層”依次展開，屬於宏觀視角的行業分析。略，離我太遠。 【科技變革篇】 新的技術帶來更高的效率，取代舊有人力，這是新技術的“取代效應”。這會引起原有興業人員的恐慌和抵制，嚴重時引發“摧毀創新機器”的社會暴亂。這是每次技術變革都重複出現的社會現象。 但隨着時間的推移、產業的完善，社會會衍生出新的行業和崗位，從而吸納跟上新技術發展的人力，即所謂“汽車淘汰了馬伕，也誕生了汽車司機”，這是新技術的“使能效應”。 這次（生成式）人工智能變革，也許會繼續押着歷史的韻腳。

《大模型時代：ChatGPT開啓通用人工智能浪潮》圍繞生成式大語言模型（Large Language Model）的技術突破與產業影響展開，主要內容可概括爲四個方面： 1. ​​技術原理與演進​​ 書中以擬人化的方式解釋了 ChatGPT 等大模型背後的原理，幫助讀者理解生成式預訓練、大規模參數帶來的語言理解與生成能力，並回顧三次工業革命的邏輯，類比大模型帶來的智能革命。 2. ​​產業與社會變革​​ 作者指出，大模型將驅動社會進入“腦機協作”時代，重塑個人工作方式和企業業務流程，類比蒸汽機、電力、互聯網的歷次工業革命，強調大模型可能引發的智力革命與產業重構。 3. ​​行業應用與實踐​​ 書中列舉了大模型在知識工作、商業企業、創意娛樂等場景的具體應用，並給出企業在落地過程中需注意的方法論與風險控制要點。 4. ​​生態構建與風險預警​​ 最後一部分梳理了國內外大模型產業鏈的構成與發展現狀，同時提醒讀者關注與機會並存的泡沫隱患，爲政策制定者、企業和個人提供應對建議。 簡言之，本書既是一本大模型技術的通俗解讀，也是一部探討 AI 產業革命與應用實踐的綜合報告，旨在幫助讀者把握大模型時代的機會、應對挑戰。

大模型興趣入門書籍，推薦技術篇與變革篇，技術篇用非常生動的故事，講述了大模型中的基本概念，完全不需要有大模型的技術背景知識。變更篇講述了新技術革命對勞動人民的影響，如果新技術影響面足夠大，通過降低產品，提升競爭力，擴大產品市場，新增新的勞動崗位，這些最終會形成更好的工作機會，提升勞動人民的收入。但是這裏面就會涉及到教育培養的變化，對應到自身需要學習新的技能，如何利用新技術，提升自身的競爭力。產業篇提到的MaaS相比IaaS，不僅具備規模效應，同時還具備飛輪效應，用戶的數據上來，不斷提升模型能力，從而吸引更多用戶上雲。

本書《大模型時代：人工智能的技術飛躍與應用倫理前瞻》由龍志勇和黃雯合著，於2023年5月1日由中譯出版社（原中國對外翻譯出版公司）出版。本書主要探討了人工智能領域中大模型技術的發展及其應用倫理的前景。 在當今數字化和信息化的社會中，人工智能技術已經成爲一個重要的支柱。其中，大模型技術是近年來人工智能領域最引人注目的進展之一。本書對大模型技術的定義、發展歷程、技術特點以及當前的應用領域進行了全面的介紹。通過深入淺出的解釋和生動的案例，作者使得這項高深的技術更易於理解，讓讀者能夠更好地理解大模型技術在各個領域的應用和潛力。 除了技術層面的介紹，本書也深入探討了應用倫理的問題。人工智能技術的發展給我們的生活帶來了很多便利，但同時也帶來了一些倫理和道德的問題。作者在大模型技術的應用前景、對人類社會的影響以及可能產生的倫理問題等方面進行了深入的分析和思考。他們提出了很多具有前瞻性的觀點和建議，提醒我們在追求技術進步的同時，也要重視道德和倫理的問題，確保人工智能技術的發展能夠更好地服務於人類社會。 對於很多人來說，大模型技術帶來的數據隱私、算法偏見等問題是令人擔憂的。然而，作者在書中也提到了一些解決這些問題的途徑。例如，加強監管和規範，確保數據隱私得到保護；推廣可解釋性的算法，讓人們能夠理解算法的決策過程；以及推動多元化和包容性的算法設計，避免偏見和歧視。 總的來說，本書是一本全面介紹大模型技術及其應用倫理的前瞻性著作。它不僅讓讀者瞭解這項技術的發展和應用，更引導讀者思考和探討人工智能的道德和倫理問題。對於對人工智能技術感興趣的讀者，這本書無疑是一份寶貴的財富。同時，這本書也提醒我們，在追求技術進步的同時，我們也應該重視道德和倫理的問題，讓人工智能技術的發展更好地服務於人類社會。

很好的大模型世代 簡介和了解的書,裏面的對話式寫作很新穎(對我來說),結構很清晰,接下來就是具體瞭解大模型的內部了!