這就是ChatGPT

奇事、奇人、奇書，很吸引人的宣傳方式，又是大熱的ChatGPT配上推薦分值，更稱奇了，“奇”未能帶來推廣奇效，是內容太難還是太易？尤其是資深會員推薦，纔剛及格～60分，我這推薦都給的有點不自信了，因爲這方面的知識，自己確實不夠資深。 第一遍讀完還是兩三個月之前，老實說，沒讀懂，現在讀了三遍了，也不懂，只是對某些名詞和過程，更有印象了，無論是ChatGPT，還是當中提到的transform、CNN或是Wolfram，因爲均沒有使用過、接觸過，始終缺乏具體的使用認識，就是菜鳥，感受孩子學走路那種跌跌撞撞的狀態，連作者的名～斯蒂芬·沃爾弗拉姆，如果不重複，都幾乎不記得。 本書是ChatGPT的介紹說明書，用簡短的文字介紹了ChatGPT是誰，作爲跨時代的產品，爲什麼這麼牛？內容過於專業，對於屬於菜鳥的本人，還是有難度，書中內容自己是否完全理解，完全沒有把握，也缺乏判斷能力，既然有這麼多大咖加持，選擇信任、學習；也許很多專業資深的人士會覺得簡單，這也許是會員評價不高的原因之一吧？也讓自己更有着自慚形穢，不過，懂就是懂，不懂就是不懂，沒辦法騙自己，本來想着薄，撿個“軟柿子”的機會高，結果碰到個硬核。 本書給自己印象深刻的是，從Deepmind贏了人類頂尖棋手之後，其發展之迅猛，真是士別三日當刮目相看，本書解碼人類語言的過程，就是一個人類超越自我的過程，數學、微分，以前不受待見的神經網絡，都起到了重要的作用，成爲第一個喫螃蟹的人，非常不簡單，其創造力十足。大模型、神經網絡及其訓練，嵌入、內部工作原理，意義空間和語義運動規律，計算的不可約性，雖然專業，其說明和思考破解過程，都令自己有點小着迷，對計算語言的威力和神奇，有了相對感性的認識，一邊讀着書友的註釋說明，一邊蹣跚而行，由於能力有限，僅此而已。 圍棋通過策略的選擇，就可以突破人類；現在，語言也突破了，看起來是人類值得驕傲、獨特的方面，就這麼悄悄的突破了，但它不是理解，它只“知道如何產生有用的東西”。人類看起來，並沒有他自己認爲的那麼神奇，1750億個浮點運算（神經元），就已經突破了，如果之後，數量級的進步，其能力值得期待，很多祕密，都可以破解，進而突破，感概人類認知的邊界不斷被突破。豆包的陪練已經讓自己很驚喜了，儘管有書友認爲，這還屬於偏傻呼呼的感覺，我想ChatGPT更是值得期待。 與其說是介紹，不如說是自己的閱讀感受，之前讀哲學類，還有《看不見的城市》都有這種雲裏霧裏的感覺，只不過這一次暈乎乎的是計算語言和邏輯，之前讀《架構整潔之道》，閱讀上自覺還算勉強過關，本書最多隻算了解了皮毛，但是這種挑戰未知的感覺還是令人興奮的，雖然很多書友指出作者的“帶貨”之嫌，相對於接觸到的知識而言，自己不是太介意。

《這就是 ChatGPT》讀後感 🔵自去年底註冊谷歌賬號登錄 GPT 開始，我基本每天都在用它聊天、提問。一開始，它像是個可以傾訴隱私的朋友；後來，我發現自己有點離不開它。 🔵今年開始付費 20 刀試用了 GPT5，最大的驚喜是它少了那種“過度安慰”的話術，回答更直接、更專業（看到有文章說 GPT5 已經接近 PhD 水平，我決定親自驗證）。 🔵除了對話，GPT 還能做很多事——編程、PPT、潤色文章、圖像處理等等。尤其是內置的 Sora 工具，可以用文字生成圖像。兩年前我用 MJ 時，AI 生成圖像一眼就能看出“AI 味”，而現在 Sora 生成的圖像只要精挑細選，幾乎無法分辨是否 AI 製作。短短兩年，AI 的進化已經讓人感到真正的“湧現”。 🔵書的前半部分通俗地解釋了 ChatGPT 的工作原理——通過自迴歸方式預測下一個詞，用概率讓回答不至於死板。裏面提到了 LLM(大語言模型)、NLP(自然語言處理) 、智能體（agent）等專業名詞。作爲沒學過高數的人，後面涉及數據與概率的章節確實有些喫力。 🔵後半部分讓我印象深刻的是 Wolfram Alpha 的引入。GPT 在可約計算（可跳步驟推導）上表現不錯，但在不可約計算（如 25 的 8 次方）上就不如 Wolfram Alpha——後者是符號計算系統，精準且穩定。兩者結合，便能發揮各自優勢。 🔴總的來說，這本書既適合想要入門 ChatGPT 工作原理的讀者，也值得二刷——第一次可以整體理解原理，第二次則能結合實際體驗，把理論與實踐對照起來。

《這就是ChatGPT》讀書筆記 2026-16。花了3h51m(3天)，269條筆記。 《AI文明史·前史》之後又一本有關AI 類書籍，讀完已經34天沒寫讀書筆記，這期間因身體溼疹及工作繁忙原因無法顧及、還有可能也是重要原因的拖延症使然、還有因爲被理查德艾爾曼的《喬伊斯傳》吸引，有點時間都給他了。 這本《這就是ChatGPT》也是在書友那淘來的，挺薄的書信息量卻多，我這小白看完也跟沒看差不多。因爲沒及時寫所以讀時心境及內容全忘，花了點時間看完劃線內容，還是懵懂狀態，哈哈。總之，是想多瞭解科技類書籍，多瞭解AI的用法用途，讓自己變得“能幹些”。也學會了用某包提問查資料寫點東東，但被他氣的夠嗆，他會非常自信、“一本正經地胡說八道”，只有說把你卸了才老實，有時還狡辯，有點恐怖。 ChatGPT，從開始的“量變會導致質變”到，表現與人類水平接近得驚人……到ChatGPT，真奇事也。 斯蒂芬·沃爾弗拉姆，因爲他不屑於看學校推薦的“蠢書”，而且算術不好，所以一開始老師們還以爲“這孩子不行”。結果人家13歲就自己寫了幾本物理書，其中之一名爲《亞原子粒子物理》。他開發了數學軟件，進而創辦了軟件公司，轉身成爲一名成功的企業家。又返回研究狀態，開始“晝伏夜出”，每天深夜埋頭做實驗、寫作長達十年，出版了1000多頁的鉅著《一種新科學》。書中的主要觀點是：萬事皆計算，宇宙中的各種複雜現象，不論是人產生的還是自然中自發的，都可以用一些規則簡單地計算和模擬。真奇人也。 奇事加奇人，《這就是ChatGPT》當然可稱奇書了。“像斯蒂芬·沃爾弗拉姆這樣的大神能動手爲廣大讀者極爲關注的主題寫一本通俗讀物，這本身就是一個奇蹟。” 筆記如下： 試圖用第一性原理解釋ChatGPT的工作原理，以及它爲何奏效。可以說這是一個關於技術的故事，也可以說這是一個關於科學的故事、一個關於哲學的故事。 ChatGPT的基礎是人工神經網絡。 類人任務：圖像識別。 用於圖像識別等任務的典型模型到底是如何工作的呢？目前最受歡迎而且最成功的方法是使用神經網絡。 人類大腦有大約1000億個神經元（神經細胞），每個神經元都能夠產生電脈衝，最高可達每秒約1000次。 如果能夠在此基礎上繼續努力，訓練出越來越大的神經網絡，那麼它們最終將“無所不能”。 從根本上說，ChatGPT是一個龐大的神經網絡— GPT-3擁有1750億個權重 我認爲必須將其視爲一項（可能非常驚人的）科學發現：在像ChatGPT這樣的神經網絡中，能以某種方式捕捉到人類大腦在生成語言時所做事情的本質。 發現重大的新“語言法則”，實際上是“思維法則”。 ChatGPT並不明確地“瞭解”這些規則。但在訓練過程中，它隱含地發現了這些規則，並且似乎擅長遵守它們。 產生“有意義的人類語言”需要什麼？ ChatGPT不僅可以生成合理的文本，而且有望判斷文本是否實際上對世界（或其所談論的任何其他事物）做出了“正確”的陳述。 當事物不知怎麼突然開始“發揮作用”時，總是讓人驚歎不已。 雖然我本人只能用人類的方式來思考事物，但我也可以隨時調用Wolfram語言和Wolfram|Alpha來利用一種獨特的“計算超能力”做各種超越人類的事情。 ChatGPT似乎在某處正確地學習了這些基礎數據，但它並沒有充分“理解數據的含義”以正確地排列這些數字。 可以說ChatGPT從未“真正理解”過事物，它只“知道如何產生有用的東西”。 作者，一位大神級人物，真會寫真敢寫。

你應該兩百塊，那一面有什麼用？Our medical insurance is 320, which I paid last year.yourone year是now IWe don't report much there.Anyway, you go to that town, and then take a look around the town in the city.Inside the county, inside the county, into the city.His kind is equivalent to you going there.There are a lot of them, so that kind is similar to ours, and there are very few words when you come out with that certificate. Then the words in your city may be like 65 at that time.exactlyit suddenly occurs to me thatYou can only report it if you are hospitalized.You can also apply for that.It's the kind that can't be reported for paying fees anyway, for example, they have a cold and fever as a casual major.Then don't report it. You can have it.If you want something, you can't report it. Don't be the same as that.

作者沃爾弗拉姆的多重身份：計算機科學家，數學家，物理學家，商人。他是“複雜系統”這一學科的開創者之一，一直致力於研究自然和社會現象的底層規律，他認爲“萬事皆計算，宇宙中的各種複雜現象，不論是人產生的還是自然中自發的，都可以用一些規則簡單的計算和模擬”，他設計創建了Wolfram Alpha計算知識引擎和Wolfram語言正是這個方向上的努力，“伽利略曾宣稱自然界是用數學的語言書寫的，但沃爾夫拉姆認爲自然界是用編程語言書寫的”。 作者是ChatGPT的愛好者（並非創始人），本書的第一部分他着重介紹ChatGPT的工作原理，同時在第二部分帶出“私貨”（這也是該書差評區集中反映的一點😆）：ChatGPT在精確性方面存在嚴重的侷限性，以及Wolfram 之類的“計算語言”正好可以彌補精確性方面的不足。 下面整理一下我的習得： ✅ ChatGPT的工作原理？ChatGPT從根本上始終要做的是，針對它得到的任何文本產生“合理的延續”。這裏所說的“合理”是指，“人們在看到諸如數十億個網頁上的內容後，可能期待別人會這樣寫”。GPT技術路線的一大核心理念，是用最簡單的“自迴歸生成架構”來解決無監督學習問題，也就是利用無須人特意標註的原始數據，學習其中對世界的映射。在自迴歸模型中，每個單詞或短語是基於它前面的內容生成的。具體來講，自迴歸模型能根據前文而猜測下一個可能出現的單詞（大概原理：把文本映射到多維空間的向量數而計算在向量空間裏最近距離的詞，也就是“意義空間”最近似的詞句），每一步都依賴於之前生成的內容（時間序列），而且能理解上下文信息（Transformer模型的多頭自注意力機制）。另外，這裏提到的“無須人特意標註”應該指的是Base LLM，是基礎模型，但目前ChatGPT使用的是Instruction Led LLM，主要是爲了優化輸出的答案更能滿足提問者要求，所以Instruction Led LLM在訓練過程中加入了人工對答案的反饋和標註。“自迴歸生成架構”的目標並不是爲了生成內容，而是爲了理解和學習，換句話說，通過學習海量互聯網內容建立模型的通用理解能力。（補充閱讀：《大模型應用開發極簡入門：基於GPT-4和ChatGPT》） ✅ ChatGPT等AI對理解“複雜系統”的意義？“計算不可約性原理”是指複雜系統中無法通過簡化來計算的部分（只能用“笨方法”一步步算）。複雜系統中存在無限的“計算可約區”，這也是人類歷史上能不斷出現科學創新，發明和發現的空間，比如用算法將複雜的問題簡化到用更少的算力或數據就能解決。對於剩下的“計算不可約區間”，作者認爲這是思考AI未來的核心，如何用AI來加速這部分問題的計算和解決。（補充閱讀：《複雜》《湧現》） ✅ ChatGPT的“黑盒性”？對於函數y=f(x)，給定x求y叫函數求解；給定y求x是反函數求解；而給定x,y，求函數公式的方法叫“插值”。人工智能的神經網絡就好像是一個“泛化版黑盒版的插值”，相對而言，它不能準確求解函數公式（所以缺乏可解釋性和透明度），但泛化能力卻遠強於“插值”（在輸入訓練集以外的數據時，也能表現良好）。 ✅ ChatGPT的訓練方法？作者用“吸引子盆地中心”這個動態系統理論的概念比喻神經網絡的訓練過程。“吸引子盆地中心”描述了一個系統中狀態演化的長期行爲。在動態系統中，吸引子是一個狀態集合，系統隨時間演化最終會趨向於這個集合。而吸引子盆地是指所有最終會收斂到某個特定吸引子的初始狀態集合，即所有這些狀態的集合形成了一個“盆地”，圍繞吸引子。在機器學習中，我們通常希望找到一組參數（例如神經網絡的權重），這些參數能夠使模型的預測誤差（通常用損失函數表示）最小化。這個最小化的過程可以看作是尋找系統狀態的一個“吸引子”。訓練過程中，我們希望模型的參數更新能夠收斂到一個解，即損失函數的最小值。這個最小值可以類比爲動態系統中的吸引子，而參數更新的過程則類似於系統狀態向吸引子的演化。在複雜的損失函數景觀中，可能存在多個局部最小值和全局最小值。一個良好的訓練過程應該能夠引導模型參數逃離局部最小值，最終收斂到全局最小值，即最優點。（補充閱讀：《深入淺出神經網絡與深度學習》《Python神經網絡編程》） ✅ ChatGPT的“類人性”？《新機器智能》的作者霍金斯認爲，“我們感知到的東西是感覺和大腦的記憶所產生的預測的結合體”，簡化這句話爲公式：記憶+感覺➡️預測➡️感知/認知，所以人的感知/認知很大程度上取決於過去的記憶。霍金斯同時認爲，“記憶是以一種能夠抓住關係本質的形式來存儲的，而不是根據當下細節來存儲的”，這種記憶的獲得並非如電腦數據複製，而是通過好似人工智能一樣的（或比之遠遠複雜的方式）用“與自然界交互收集到的大數據”作爲“訓練數據”並用“進化論的優勝劣汰”作爲“結果檢驗”大量“訓練”完成，並以基因的形式固化後一代代傳承（當然近幾千年也出現了另外一種傳承方式：知識和教育傳承） ✅ ChatGPT的“科學性”？人工智能神經網絡之所以不像科學，是因爲它的“邏輯上的不可解釋性”；之所以又像是科學，是因爲它的“可實驗可證明性”（訓練和驗證）。“過去的十年中，神經網絡訓練的藝術已經有了許多進展。是的，它基本上是一門藝術。有時，尤其是回顧過去時，人們在訓練中至少可以看到一絲“科學解釋”的影子了”。 ✅ ChatGPT的“能耗效率”？很顯然，相對人腦，ChatGPT的能耗效率相當之低，事實上，就目前的計算機硬件而言，即使考慮到GPU，神經網絡的大部分在訓練期間的大部分時間裏也是“空閒”的，一次只有一個部分被更新。從某種意義上說，這是因爲當前的計算機往往具有獨立於CPU（或GPU）的內存。但大腦中的情況可能不同—每個“記憶元素”（即神經元）也是一個潛在的活躍的計算元素。當前計算機計算單元和內存的分離是馮諾依曼架構的基本特徵（這和人腦計算單元和存儲“一體化”顯著不同），這種架構在計算機得到廣泛使用後變成了一種“範式”，但在神經網絡訓練的環節，需要大量數據在計算單元和內存之間頻繁傳輸，因此這種分離可能會對效率產生顯著影響，包括內存與GPU的數據傳輸瓶頸（如內存牆瓶頸），能耗增加，並行化挑戰（可能就是作者提到的資源閒置的情況）等等。因此，計算單元和內存的逐漸融合可能是芯片設計的一個大趨勢，還有就是不斷優化算法，減少模型大小和計算量，從而降低對內存帶寬的依賴。 ✅ “可學習性”和“計算不可約性”之間的關係？“可學習性和計算不可約性之間存在根本的矛盾。學習實際上涉及通過利用規律來壓縮數據，但計算不可約性意味着最終對可能存在的規律有一個限制”，作者這種說法還是很有啓示意義：學習的本質是“通過掌握規律來壓縮數據”，也就是說學習避免了“被大量數據過載”（不論是人腦還是機器），而只需要掌握事物之間的“一般規律”就能夠“大致的”認識世界。但“計算的不可約”部分的知識由於無法用規律準確描述，這也就實際限制了規律的作用。此時我們能做什麼？利用人腦的“直覺”來判斷（也許直覺本身就具備“計算不可約性”），或者在有大量數據和算力的前提下用訓練人工智能神經網絡來完成。 ✅ “能力”和“可訓練性”之間的關係？能力和可訓練性之間存在着一個終極權衡：你越想讓一個系統“真正利用”其計算能力，它就越會表現出計算不可約性，從而越不容易被訓練；而它在本質上越易於訓練，就越不能進行復雜的計算。訓練機器和訓練人何等相似：有能力的不容易聽話，很聽話的沒啥能力。😂 ✅ ChatGPT的數據依賴和創新侷限？ChatGPT使用的源數據主要是互聯網和書籍的數據，所以它的數據具有“廣度”但是缺乏“深度”，比如某領域的高質量數據例如醫療，金融，電信等，再比如工業智能製造的數據。ChatGPT對訓練數據的依賴也決定了它很難產出超出源數據的“創新能力”。 ✅ ChatGPT的“精確性問題”？神經網絡雖然是模擬人腦，但其“分層設計”卻是對人腦神經元機制的高度簡化（人腦並不分層），代價就是在層際傳遞時造成的信息損失，這也就意味着最終輸出結果很難非常精確。另外，ChatGPT訓練所依賴的自然語言本來就是“生動而不夠精確”（部分涵義需要讀者展開聯想“意會”補充）。而作者的Wolframe這種項目的想法就是利用某種“符號語言”更精確的描述世界，從而彌補人類語言精確性不足的問題。作者提倡ChatGPT這種大語言模型和Wolfram語言結合使用，互補互助，迭代提升，例如將ChatGPT生成的自然語言答案轉化爲更精確的符號計算語言，從而應用其計算知識的能力。 ✅ ChatGPT缺乏反思能力？“與典型的算法計算不同，ChatGPT內部沒有“循環”或“重新計算數據”。這不可避免地限制了其計算能力—即使與當前的計算機相比也是如此，更談不上與大腦相比了。”猜測這也是爲什麼ChatGPT雖然可以解答問題，但卻無法像人一樣提出好問題。同時，它也不能類似人一樣通過“反思”進行自主優化不斷自我提升。 最後，沃爾弗拉姆給出了一些個人學習和成長的建議： ●最高效的方式是發掘新的可能性，定義對自己有價值的東西。 ●從現在的回答問題轉向學會如何提出問題，以及如何確定哪些問題值得提出。也就是從知識執行轉向知識戰略。 ●知識廣度和思維清晰度將很重要。 ●直接學習所有詳細的知識已經變得不必要了：我們可以在更高的層次上學習和工作，抽象掉許多具體的細節。“整合”，而不是專業化。儘可能廣泛、深入地思考，儘可能多地調用知識和範式。 ●學會使用工具來做事。過去我們更倚重邏輯和數學，以後要特別注意利用計算範式，並運用與計算直接相關的思維方式。

“它只是一次添加一個詞” 我是個文科生，到現在對於編程之類的東西一竅不通。拿到這本《這就是ChatGTP》時，我心裏還犯嘀咕是否能看明白。現在讀完了，我不敢說我全部都讀懂了，但是感謝這本書的巧妙比喻，ChatGTP的基本原理我已經基本清楚了。 對ChatGTP的橫空出世，我個人的感情十分複雜。人工AI吆喝了這麼多年，唯獨這項發明的意義是跨時代的——在某種程度上，它可以替人類思考，並完成很多創造類的工作。我堅信，假以時日，如果能得到良好的利用，這項發明對人類社會的改變將是巨大的。 同時，我所在的媒體行業受這項技術衝擊特別大。AI將來會不會取代我的飯碗，現在看的確有點懸——從目前ChatGTP生成的新聞來看，至少基礎的“5W1H”要素完備，投餵之後產出的內容完全達到見報標準的。如果沉浸在現在的“短平快”裏掙工分，將來就只有被淘汰這一條路可以走。 這本書有兩點個人認爲最有價值。第一自然是ChatGTP的“成長”過程。神奇的是，這本書只用了100頁不到，就簡潔明快地講清了來龍去脈，關鍵詞句就是第一個小標題“它只是一次添加一個詞”。 人工智能的原理非常複雜，但再複雜的內容都需要基礎和構成元件。從一個詞，到多個詞；從最簡單的指令，到逐漸複雜、多樣化的指令——這講述的既是ChatGTP的發展歷史，同樣也是原理介紹。如果上來就講編程的一二三，我很快就會陷入一片迷雲之中。但這種友好的比喻，完全拋棄了枯燥的編程基礎理論，讓人很快就抓住設計理念中最核心的概念，進而對ChatGTP有了初步但比較全面的瞭解。 人腦的“進步”離不開學習。我們從出生以來，不斷接觸外界，正是從一個又一個詞語（或者說概念）的添加，慢慢理解這複雜的世界。人工AI走的也是這條路——它們擁有更強大的計算能力，更好的記憶力，就有了很好的內容生產基礎。加上他們的學習能力通過硬件提升和軟件升級而不斷增強，至少現在來看，在知識廣度上超過普通人是完全可以理解的。 那麼，如何“應對”ChatGTP對行業的入侵，或者說在ChatGTP未來大規模應用的情況下如何保住自己的飯碗，這是另外一個有價值的探討。作者認爲，ChatGTP從未“真正理解”過事物，而是隻“知道如何產生有用的東西”。換言之，ChatGTP的“思考”是淺層次的，因此在涉及個性化的問題時，它往往很難給出精準的答案。這樣，文學和藝術的殿堂對於它們來說還是太難了，涉及醫療、情感等複雜多變的領域，它們短期內也很難獨自挑大樑。對於我們媒體從業人員來說，更具深度的思考能力是必須的，從紛雜的信息中準確識別正確或理性的內容也是保證飯碗的因素。當然，相較於編輯，記者的優勢更是顯而易見的——新華社很多年前就使用寫稿機器人，但記者在一線的觀察力和洞察力仍是無法取代的。“從知識執行轉向知識戰略”，說到底還是需要“管理型人才”，面對機器人的競爭，大家努力學習吧！

每次讀書，尤其是這種科技的，總有一種“讀薄”的衝動。這次根據第一性原理與奧卡姆剃刀原則加上AI來總結一下。 1. 核心架構原理 ⏩第一性基礎： 基於Transformer網絡（Transformer Network）的自迴歸語言模型，本質是通過概率預測生成文本。 ⏩極簡架構（奧卡姆剃刀原則）： 僅保留Decoder-only結構（無Encoder），通過自注意力機制（Self-Attention Mechanism）捕捉上下文關係。 輸入文本被分解爲Token序列（約5萬個Token，含詞/詞片段），通過嵌入向量（Embedding Vector，長度128）表徵語義。 核心計算單元爲注意力塊（Attention Block，GPT-3含96塊×96頭），並行處理全局依賴。 2. 訓練機制 ⏩預訓練階段（無監督學習）： 目標函數：Next-Token Prediction（預測下一個Token），通過海量文本（數萬億Token）學習語言統計規律。 計算代價：權重數（175B）≈訓練數據Token數，需約n²計算步驟（n爲權重數），依賴GPU並行加速。 ⏩微調階段（人類反饋強化學習，RLHF）： 通過人類標註的優質對話數據調整模型，優化生成結果的對齊性（Alignment）。 3. 關鍵組件與能力 ⏩注意力機制的本質： 通過Query-Key-Value矩陣計算Token間關聯權重，動態聚焦關鍵信息（如動詞與遠距離名詞的匹配）。替代傳統循環結構（RNN/LSTM），解決長程依賴問題。 ⏩語義空間映射： 文本被編碼爲高維空間中的特徵向量（Feature Vector），相近語義的Token在空間中鄰近。 生成過程視爲在語義空間中的軌跡運動，受隱式“語義語法”約束。 4. 侷限性與邊界 ⏩計算不可約性（Computational Irreducibility）： 無法直接處理深度算法任務（如括號匹配、數學證明），需依賴外部符號系統（如Wolfram語言）。 ⏩統計學習本質： 依賴訓練數據中的模式，缺乏顯式邏輯推理能力，可能生成表面合理但無意義的內容。 ⏩硬件依賴： 生成每個Token需1750億次浮點運算，實時性受GPU算力限制。 5. 與符號系統的互補性 ⏩ChatGPT（統計方法）： 擅長語言生成、模糊語義匹配，依賴數據驅動的泛化。 ⏩Wolfram|Alpha（符號方法）： 基於結構化知識庫與精確計算，解決數學、科學問題。 ⏩融合潛力： 將ChatGPT的語義理解與符號系統的算法能力結合（如調用Wolfram語言執行計算）。 6. 哲學啓示 ⏩語言簡單性假說： 人類語言可能隱含比預期更基礎的結構化規則，ChatGPT通過壓縮統計規律間接捕捉。 ⏩計算等價性（Principle of Computational Equivalence）： 類人任務（如寫作）本質是“淺層計算”，可通過簡單規則（自迴歸預測）實現。 總結： ChatGPT是極簡架構（Decoder-only Transformer）與超大規模數據/算力結合的產物，其核心能力源於對語言統計規律的壓縮學習，而非顯式邏輯建模。通過第一性原理可解構爲：Token預測→注意力權重調整→語義空間軌跡生成。其邊界受計算不可約性限制，未來需與符號系統協同突破。

其實這真是本給小白解釋ChatGPT原理的科普書，讓我嘗試來梳理一下吧。 關於ChatGPT原理的部分，每個小章節邏輯脈絡如下： 【它只是一次添加一個詞】主要講ChatGPT的原理就是一個概率模型，每次都是在預測下一個詞是什麼。 【概率從何而來】需要構建一個大語言模型，概率從這個大語言模型裏來 【什麼是模型】用來做預測所依據的那個東西，就叫模型。， 【類人任務(human-like task)的模型】舉了個圖像識別的例子，但沒給明確回答 【神經網絡】爲了解決上一小節圖像識別的問題，引出神經網絡，介紹了一下神經網絡的基本概念，一層層嵌套或疊加的……函數 【機器學習和神經網絡的訓練】介紹神經網絡的訓練過程，也就是“猜”這個函數里的參數都是什麼 【神經網絡訓練的實踐和學問】你說它是門科學，其實它更像是藝術，也開始說是玄學……簡單介紹了下如何確定神經網絡的規模、從哪兒獲取訓練數據，獲取多少訓練數據。 本節書中摘錄： 1、神經網絡的實際學習過程是怎樣的呢？歸根結底，核心在於確定哪些權重能夠最好地捕捉給定的訓練樣例 2、整個訓練過程可以通過損失的減小趨勢來描述 3、神經網絡的基本思想是利用大量簡單（本質上相同）的組件來創建一個靈活的“計算結構”，並使其能夠逐步通過學習樣例得到改進。在當前的神經網絡中，基本上是利用微積分的思想（應用於實數）來進行這種逐步的改進。但越來越清楚的是，重點並不是擁有高精度數值，即使使用當前的方法，8位或更少的數也可能已經足夠了。 【“足夠大的神經網絡當然無所不能！”】感覺稍微有點文不對題，看標題應該想說的是當模型數據和參數規模足夠大，就會產生預期之外的湧現能力這件事，但是前面說的那些例子和道理，過渡過來感覺有點牽強，大家見仁見智吧。 本節書中摘錄： 1、可學習性和計算不可約性之間存在根本的矛盾。學習實際上涉及通過利用規律來壓縮數據，但計算不可約性意味着最終對可能存在的規律有一個限制。 2、神經網絡能夠在寫文章的任務中獲得成功的原因是，寫文章實際上是一個“計算深度較淺”的問題，比我們想象的簡單。從某種意義上講，這使我們距離對於人類如何處理類似於寫文章的事情（處理語言）“擁有一種理論”更近了一步。 【“嵌入”的概念】書中摘錄：一種嘗試通過數的數組來表示某些東西“本質”的方法，其特性是“相近的事物”由相近的數表示。說人話就是神經網絡裏說白了是數學函數，處理的是數，怎麼把圖像、文字轉換成數（也就是向量）就是嵌入技術要做的事情。 【ChatGPT的內部原理】前面都是鋪墊，終於開始ChatGPT了，這小節主要是講Transformer， 它的操作分爲三個基本階段，直接摘一下書裏的描述： 第一階段，它獲取與目前的文本相對應的標記序列，並找到表示這些標記的一個嵌入（即由數組成的數組）。 第二階段，它以“標準的神經網絡的方式”對此嵌入進行操作，值“像漣漪一樣依次通過”網絡中的各層，從而產生一個新的嵌入（即一個新的數組）。 第三階段，它獲取此數組的最後一部分，並據此生成包含約50000個值的數組，這些值就成了各個可能的下一個標記的概率。（沒錯，使用的標記數量恰好與英語常用詞的數量相當，儘管其中只有約3000個標記是完整的詞，其餘的則是片段。） 說句實話，要不是我知道他想說啥，我是真看不懂他在說啥😂😂 就是首先把一段文本轉成向量數組，然後經過N輪神經網絡的轉換（這個神經網絡不普通，是基於注意力機制的Transformer，N的大小是模型定的），拿到最後一個嵌入向量數組之後進行解碼，得到的就下一個token的概率列表。 【ChatGPT的訓練】 摘錄：先提供一批樣例，然後調整網絡中的權重，以最小化網絡在這些樣例上的誤差（“損失”）。根據誤差“反向傳播”的主要問題在於，每次執行此操作時，網絡中的每個權重通常都至少會發生微小的變化，而且有很多權重需要處理。（實際的“反向傳播”通常只比前向傳播難一點兒—相差一個很小的常數係數。） 未完待續…… 因爲老外寫書天馬行空，又不愛寫章節之間邏輯關係，再加上翻譯問題，於是初學者看不懂，行內人沒必要看，導致這書有點尷尬

各種AI軟件百家爭鳴的時代，人工智能已深入我們工作學習和生活中，本着想要更好的運用它，和它交流的目的，來看這本書的，但這是一本介紹 ChatGPT 原理的科普書，對於小白來說並沒有那麼通俗易懂，只是初步瞭解了它的核心是人工神經網絡，是對理想化人腦的模擬，它通過一個提示內容，從網上獲取大量文本樣本進行訓練，讓文本產生“合理的延續”，並探討了它的侷限性，和對人類思維的一些啓示。目前我用的最多的就是豆包、DeepSeek和夸克，有生之年，希望擁有一個仿真人形機器管家🤖哈哈😀～

是哪個情緒穩定的寶貝週日晚上看書把自己看生氣了？哦是我。曾經每天用wolfarmalpha教書科研的數學博士，現在在硅谷帶團隊做基於GPT模型的產品開發。翻開這本大衆科普書是純自然的好奇，尤其Sam本人還說這是“他見過的對ChatGPT最佳解釋”，但看完就是一整個被騙的感覺。 首先wolfram自己在書裏都說了，他自己只是個GPT“愛好者”，寫這本書需要很多人幫助。 那他爲什麼要寫這本書？ 當然是給自家產品wolfram alpha帶貨。 全書一個努力想要傳達的核心信息在104頁（也就是主篇末尾）：凡是涉及不可約計算的事情，大腦和像ChatGPT這樣的東西都必須尋求外部工具，比如wolfarm語言的幫助。我想說我對這觀點沒有意見，但這明裏暗裏想要傳達的觀點，通篇的比較，四個章節的例證，在書名和封面上有半點體現嗎？我這是讀了一篇蹭ChatGPT熱度的超長的wolfram alpha帶貨軟文嗎？真的有必要這樣標題黨嗎？ 不可否認看得出作者努力用通俗易懂的語言試圖解釋了時下大家最想了解的話題，只可惜很多地方過於簡化幾乎要扭曲了本來的含義，加上作者自己也不太懂，實在讓內行看了頭疼。 我又查了一下，第一篇介紹ChatGPT的原文，可以在Stephen的writings網站找到，是沒有第二章也沒有那麼多wolfram alpha廣告的。所以如果Sam只評論了全書的一部分的內容，這樣的推薦語用來給整本書的內容帶貨真的合適嗎？ 以上僅代表個人看法。