分析信息：香農、維特根斯坦、圖靈和喬姆斯基對信息的兩次分離

信息時代演化到現在，對數字企業，有個根本性的反轉，經濟系統發生了“主客供需移位”。 舊範式：生產者（供給方）主導，消費者（需求方）被動選擇。核心是“生產-消費”的線性關係，其目標函數在能量約束下的最小作用原則，這一範式下供給方是理性創造，市場經濟卻是看不見的手在操作。 新範式：注意力擁有者（每個人）成爲供給方，提供最稀缺的資源——注意力；生產者反而成爲需求方，競相爭奪注意力。經濟權力根源發生逆轉。這一範式下需求方是追求信息價值密度的，變成意義生成看不見的手了，市場經濟在AI協調成了凱恩斯式、博弈論式近似理性人迴歸。 這一反轉導致數字企業的核心價值不再取決於規模或產能，而取決於其創造 “價值密度” 的能力。價值密度：在單位時間/注意力消耗內，所能提供的效用、體驗或意義的濃度。按照香農信息論的說法，是解決有限信息通道的信息效用最大化問題，即人類認知帶寬（B）有限，信噪比（SNR）取決於信息質量（意義密度）。符合這一效用的信息方式是符合香農信息論三大編碼方式的:去冗餘 扛噪聲 適配認知 注意力稀缺的背景下信息效用最大化原則這一根本性的反轉，審視企業，你會發現美團是信息時空密度最大化；拼多多是價格密度最大化；淘寶搞了大消費平臺後，信息熵增更高了，這個不符合這一範式，我對大消費平臺這一提法始終保持異議。 數字企業的天命，注意力稀缺下信息的最大效用原則，香農公式：C = B * log2(1 + SNR)，C爲信道容量，B爲帶寬，SNR爲信噪比。對應信息需要壓縮、高保真、多模態。

人工智能時代的蘇格拉底～木鐸書評之《分析信息》 說句實話，在我剛剛看到這本書的時候並沒有太大的興趣，因爲作者本身在學術圈之外也不出名，不過由於他在書的副標題中羅列的幾個人名，我還是決定略讀一下，這本書的副標題叫香農、維特根斯坦、圖靈和喬姆斯基對信息的兩次分離，說句實話這個副標題有點扯虎皮當大旗的味道。 整本書讀下來還是有一點驚豔的，作者對數據到智慧的層級的理解還是非常到位的。我們很多人在從外界獲取信息的時候並不太理解DIKW模型對我們獲取信息的過程和後果意味着什麼，而作者在這本書中講得是很明白的。 參照DIKW模型，作者提出了兩次分離的理論，第一次分離是數據和信息的分離，第一次分離的主力是克勞德.香農和他提出的信息論，信息論解決的問題是如何在一個有損信道中傳遞數據，同時保證信息傳達的準確性。在信息論之前，人們是沒有考慮過數據和信息之間的界限和差別的，香農提出來信息熵的概念，也就是說信息是能讓我們知道或確定一些以前我們不知道的事情，而數據是傳達這些事情的途徑和手段。無論是通過古代中東的泥板，古代中國的竹簡，還是紙質書亦或是電子信號，我們都可以傳達同樣的信息，只不過數據交換的方式和效率不同罷了。 香農的信息論帶來了信息大爆炸，既然什麼媒介都能用數據傳遞信息，並且香農提供瞭如何在有損信道最大化傳達信息的理論，信息就自然可以通過人類最快的方式傳播，一開始是電報，後來是電話，現在直接變成無線電和光波，反正只要保證信息接受者能收到儘可能近似的信息就可以了（有損信道不可能完全傳達所有信息）。信息交換的速度越來越快，人們交換的信息越來越多，信息爆炸也就越來越明顯，一開始人們苦於得不到信息，現在人們苦於信息太多，把自己淹沒了。 爲什麼信息太多會把人們淹沒了呢？因爲很多時候只有信息無法幫助人們決策和行動，比如說你得到一則關於某個企業股票的信息（先不管你是不是通過合法渠道得到的），假如你沒有關於股市的概念，假如你沒有在股市中從事買賣的經驗，或是聽說過這些經驗，這個信息對你來說就是沒有意義的，你知道了它，但是這個信息對你意味着什麼或是你不知道該如何行動。 這個信息對你來說就是把你淹沒的信息，因爲信息太多，這些對你沒有意義的信息有可能讓你注意不到真正對你有意義的信息，用這本書中的話來說就是信息無法上升爲知識和智慧來指導行動和決策。信息社會中存在這樣一個悖論：我們彷彿擁有了關於這個世界越來越多的信息，但這個世界在我們看來卻越來越缺乏意義。美國的一位著名詩人艾略特曾經寫過這麼一首詩：“我們在生存中失掉的生活在哪裏？我們在知識中失掉的智慧在哪裏？我們在信息中失掉的知識在哪裏？” 作者在書中隨後提到了他認爲的第二次分離，也就是信息和知識的分離，在作者看來第二次分離是由研究語言的人給出的線索，二十世紀研究語言的人中最有名的二位就是維特根斯坦和喬姆斯基，當然還要提到人工智能真正的開山鼻祖圖靈。如果說第一次分離的目的是通過最快最有效的方式把信息傳達給使用者，把信息從數據的具體形態中解放出來，第二次分離的目的是通過信息反推出對人們有意義的知識和智慧，幫助人們決策和行動。如果說第一次分離造就了曾經如火如荼的IT產業和互聯網產業，第二次分離就是人工智能背後的源動力。 通過IT產業（當然包括互聯網產業）幾十年的狂飆突進，人們已經得到了海量的信息，但是人腦從信息中提取知識和智慧的能力受限於人類大腦的運算能力，同時DIKW的金字塔越往上走，就越依賴人腦和整個自然環境和社會環境長期互動形成的大量背景知識和實際經驗，同樣一條信息對背景不一樣的人就有不同的價值。當我們生產和傳輸了大量的數據和信息之後，我們缺發現只有人類大腦才能從數據和信息之中提取知識和智慧，而且人類提取知識和智慧的速度遠遠落後於計算機能夠傳輸和存儲的數據和信息，導致大量的數據和信息無法變現，人工智能就變成了一種必然的選擇。 很多人對現在人工智能的本質沒有充分的理解，從而產生一些沒有必要的擔憂，比如人工智能有了意識之後會不會毀滅人類等等，在我看來這些問題都太遙遠了。現在所有已經實用化或者說商業化的人工智能本質上都是在幹一件事，就是對人類大腦生成知識和智慧過程的逆向工程。人工智能現在還不能理解人類大腦生成知識和智慧的過程，所以它就幹了一個破譯密碼時經常乾的事兒，也就是拿到足夠多的密文和明文，然後用統計數據反推二者之間的聯繫，這也就是爲什麼再先進的人工智能也需要人類輸入作爲訓練數據集的一部分，即使是ChatGPT這種級別的人工智能也需要人類輸入來糾正錯誤。 人工智能拿到足夠多的數據和信息之後，推算出匹配的人類知識，然後再匹配上人類輸入的糾錯信息，就能一步步逆向工程出人類的知識（現在能不能達到智慧這個層次還有待討論）。作者說過一句話我覺得很有道理，如果人類大腦足夠快，能夠匹配上計算機傳輸和存儲的數據和信息，也就沒必要發明什麼人工智能了，人工智能就是希望能夠破解出人類大腦從數據和信息中提取知識和智慧的方法，但是目前看有一些效果，但是還沒能完全破解。爲什麼呢？因爲人類自己還不理解自己的大腦和語言是如何工作的。 作者在書中提到了維特根斯坦，因爲維特根斯坦是西方研究語言的扛把子，至今都是無法被超越的高峰，即使是維特根斯坦也不能完全破解語言的祕密。維特根斯坦在年輕時就寫出來《邏輯哲學論》，認爲語言就是邏輯，所以一些不規範使用語言中邏輯產生的哲學問題壓根就沒有價值。維特根斯坦做完這個事就去小學教書去了，幾十年後他又推翻了自己的理論，說人類的語言分爲邏輯和指稱（也就是對對象的命名和理解），邏輯可以被說明，但是指稱無法被通約，不同的人對同一件事的理解就是不一樣，而人類生成知識和智慧的過程又離不開指稱。 如果作者多看看侯世達的書，就會知道侯世達把指稱問題解釋成範疇，不同的人即使使用同樣的詞可能腦子裏的範疇是不一樣的，理解也就是不一樣的。範疇這個東西很難被計算機表現和模擬，而範疇在人一生之中又經歷着不斷的改變，這一切又依賴於人腦與自然環境和社會環境的複雜互動，這一切現在都無法被簡單地編碼到計算機裏，於是就只能通過人工智能從數據和信息來反推人腦中能產生怎樣的知識和智慧。這種反推很多時候就是盲目猜測和概率統計的綜合，但是這種猜測也帶來一個問題，就是如果從工程上不能直接模擬人腦，能不能從工程上影響人腦？答案是肯定的，現在所有的社交媒體就是在做這件事。 社交媒體是最早擁有海量數據的玩家，但是他們苦於大量的數據和信息無法變現，既然無法從工程上模擬人腦，他們就走了另一條路，那就是從工程上影響人腦，不斷給你投餵類似的信息，通過海量類似的信息來塑造你對世界的理解，這樣一來你從數據和信息反推知識的過程就更容易被預測到，你也就更容易被他們影響，他們積累的數據和信息就能變現爲實實在在對人羣的影響。 我身邊有一些比較人間清醒的朋友都在抱怨社交媒體上的表達越來越極端化，甚至要求你對某個問題站隊，其實這背後就是一個工程問題導致的，爲了把積累的數據和信息變現，只能通過工程手段影響人腦。在社交媒體上，不管你的觀點是什麼，你是站隊蘋果還是華爲，你是站隊巴勒斯坦還是以色列都不重要，你越來越極端化，越來越好預測纔是最重要的，這樣一來社交媒體平臺才能更好地通過影響人羣獲得收益，這和陰謀論無關，完全是工程和商業的需要。 在互聯網社交媒體上的觀點越來越極端化的時代，我們應該做什麼呢？其實很多人意識到了信息繭房效應但是還是無法放下手裏的手機（我自己也需要極大的意志力才能保證自己用手機時只碼字和讀書），我倒是推薦大家參考一下古希臘的蘇格拉底，他在古希臘的雅典不停地找不同的人聊天來發現大家對同一個概念的不同理解，然後看看每個人想法中哪些是可以被借鑑的，從中提取出人類知識的普遍基礎。 如果我們參考雅斯貝斯提出的軸心時代理論，我們發現無論是古希臘的蘇格拉底，柏拉圖還是中國的孔子和孟子還有印度的佛陀，他們都經歷了一個和很多有不同見解的人辯論和互動的過程，才產生了後來影響人類歷史進程的智慧。在這個人工智能時代，也許我們也需要借鑑古人的智慧，做同樣的事兒，放下自己的手機，從互聯網社交媒體構建的信息繭房中抽身出來，和身邊的家人朋友聊聊天，發現大家對同一件事的不同理解，並從中這纔是我們找回真正的智慧的最佳途徑。

731(2024No.53）粗略看了一遍。 作者主要澄清了兩件事： 一是由香農完成的語法信息和語義信息的分離（以及由此帶來語法信息處理效率和語義信息處理效率的差距），可以稱爲信息的第一次分離； 二是由維特根斯坦、圖靈以及喬姆斯基完成的指稱語義和邏輯語義的分離（以及由此帶來的邏輯語義處理的精進和指稱語義的仍然神祕），可以稱爲信息的第二次分離。 第一次分離大大提高了機器的通信效率，第二次分離大大提高了機器的邏輯計算效率，這兩次分離帶來的信息處理效率的提升都是通過數字技術實現的。或者說，第一次分離造就了數字化信息世界，第二次分離造就了人類智能以外的人工智能。 “邏輯有沒有含義”這個問題，是區分第一次分離和第二次分離的關鍵。如果邏輯沒有含義，那就不存在兩次分離，只有語法和語義的一次分離。因爲在語言學和邏輯學中，邏輯被認爲只是語法，沒有語義。 這就有點像在統計信息論中，統計信息被認爲是信息的全部；而放在全部信息（論）中，統計信息只是語法信息，此外還有語義信息。同理，如果把視野放到語言學和邏輯學之外，放在信息論的範疇裏，邏輯應該也是一種語義。或者按照信息論的叫法，邏輯可以叫作語義信息中的邏輯語義。 目前，指稱下的語義和意義的分離還處於不可說的狀態，即還停留在哲學狀態，工程狀態還無從談起。 作者認爲，即使AI掌握了部分語義，但也無法掌握語義背後意義，換句話說，即使第三次分離實現，AI仍無法掌握指稱和邏輯背後說意義。換句話說，對AI的擔心是不必要的。 該書出版於2021年，彼時大模型位代表的AIGC方興未艾，應該尚未納入作者視野，從目前以Chatgpt爲代表的大模型語音式輸出來看，其表現與真人無異。很難斷言瞭解意義是否仍有必要。

這本書的致命問題在於：語法與邏輯是否同質？語法特別是句法，應是指涉語言符號的編排規則，是純粹語言形式的，而邏輯就其漢語的意義而言，並非純符號之間，亦涉及對象，邏輯與歷史的統一，那邏輯不能離開歷史。邏輯語義與指稱語義，嶄且存疑吧。

沒看完，作者一會老子、一會聖經、一會佛經。實在崩潰。也許看懂了的人能告訴我這本書在幹嘛，我反正看不下眼了。

這個作者吧，咋評價呢。前兩章香農部分講得蠻清楚的，看得出對本專業還是很紮實。但後面幾章就武俠起來了，還膜起來了😅以後能不能成爲一個好學者，不太清楚。但做飯搭子應該挺開心的😂

如果要研究維特根斯坦，這是本不錯的參考書，作者把維特根斯坦的一些觀點結後來出現的知識作了很生動的表述。 但如果要研究信息論或者人工智能，這書不行，作者數學素養不太行，他的核心論點實際上是神祕主義（雖然作者極力反駁這一點）

自我本我超我的概念都沒搞清，還好意思出書？太不負責任了

初步學習了深度學習的數學原理後，偶爾看到這些文科生寫出來的書，真的索然無味。也許作者寫得不錯，但我的腦子無法提煉出重點和有效信息了。

在這本書中，第一次讀到了香農對信息的定義。 讓自己恍然頓悟。 香農認爲“信息是用來消除隨機不確定性的東西”。 所以，信息的底色不是語言，而是數字。 書中特別提到了人工智能與人的關係。 其中有兩點印象深刻： 真正該擔心的事情——機器會不會“頓悟”。在不具備類似人類心理和人體生物機能的條件下，AI是否有可能繞過這些心理和生理條件直接獲得指稱語義背後的意義，纔是人們該擔心的問題。 數字化信息世界好像是AI的應許之地。 難以言傳的暗默知識的來源（悟性所在）也許是人類精神世界的最後祕密。