可視化未來：數據透視下的人文大趨勢

人文研究和自然科學的隔閡並非天註定。 艾登和米歇爾用500萬本電子書的數據，把人類文化當作自然現象來測量，這門冷板凳學問突然變得硬氣起來。 他們發明的Ngram工具，讓納粹時期的審查痕跡在詞頻曲線上原形畢露：被禁作家的名字突然消失，又緩慢復甦。這種量化視角往小處說給了歷史考據一把可操作的尺子，往大處說讓我們看見秦始皇焚書坑儒的真正影響——文明斷層是有數字可以描述的。 你不需要讀過萬卷書，只需要看懂圖表中的曲線起伏，就能見證人類思想的起落與集體記憶的消長。 讀這本書的啓示在於方法論的大反轉：有穿透力的洞察，有時候恰恰需要放棄感受，信任赤裸裸的數據。

書分四境, "聖賢庸渣". 此書中賢~ 從"特殊動詞"是什麼, 開啓一個人類文化如何浪裏淘沙的發現之旅. (比如, burnt 到 burned是如何變遷的, 是'baby*sitter', 中間, 是有空格, 無空格, 還是'-' ?) 簡言之, 概念或文化(書裏主要說單詞) 的產生於 "需求", 而修正和進化於 "一致性" 和 "效率" 的共同作用. 極具洞察. 你還可以看到, Larry Page是如何思考, 謀劃, 實施一項, 前所未有的, 看似不可完成的宏大工程的. 一個好玩的視角是, 從納粹德國期間, 猶太和自由派作者被 "壓制" 的詞頻表現, 你可以清楚的看到2個驚人的趨勢: 1/ 他們本已經在走下坡路, 而戰後的反彈, 卻給了這些作品更旺盛的生命力 (禁書乃antifragile之最) 2/ 這些創作(文人藝術家)的衰落遠遠早於1933年, 讓人不禁猜想: 到底Hiter是這一切的原因還是結果. 就像法國大革命前夕, 啓蒙思想家的作品只佔流通讀物的1%不到, 而社會主體是通俗小說甚至小黃書 (當然其中大多被禁)-- 但禁令本身, 卻促進了幾大領域的爆發式發展: 1/圖書分類 2/流通渠道 3/色情創作 4/印刷工業. 而這些, 最終促成了法國大革命~ 啓蒙思想家是大革命的原因? 文藝復興n傑是文藝復興之推手? Hitler是納粹德國的原因? not really.. 很多事件的產生都是體制原因, 而非單純的統治者個人意志. 關於歷史和文化, 數據給了我們一個更加真實的視角. no shit, no bullshit.. "任何有用的概念, 無論多麼模糊抽象, 都是可以被測量的." 你需要的不僅僅是想象力, 極大可能伴有一個龐大的髒活累活, 就像"打掃牛糞的赫拉克勒斯". 這不是一條知識, 而是一個信念.. History, should well be written in data. and, a book about "what" is more inspiring than a book about "why"... ~

幾年來關於大數據，無論是政治家、科學家還是企業家講出來的都是有關商業及利益的故事，從數據中尋找獲得權力和財富的祕密，而本書則是利用大數據洞察與人文相結合來講故事，令人耳目一新。數字化歷史記錄會讓我們對歷史和文化的認知方法發生重大變化，也相信有一天我們任何一個普通人都可以隨時隨地的應用作者的研究成果去了解文化現象，因爲自由開放、交流創新畢竟是不可逆轉的人類發展大趨勢。

動詞有半衰期，語言也在進化，這一發現得益於大數據的獨特視角，在過去，這是我們窮盡一生也無法跨越的數據鴻溝，大數據能給我們帶來的想象還有更多。此時，人文和科學這一對並肩行走又各自獨立的兄弟正在相互融合，未來是跨領域合作的未來。

此書和我前幾天思考的問題相關：那就是先出現蘋果這個詞，還是現出現水果這個詞？我通過邏輯推斷給出了答案，真希望用大數據驗證一下我的邏輯判斷呀，哈哈 大家覺得先出現哪個概念呢？爲什麼呢？

可視化未來，透視歷史與未來，真的如此嗎？大數據只是人們分析歷史，預測以後或未來趨勢的一種方法，一個很好的分析工具，把大數據神祕化只會害己害人。

數據就是力量 如今我們已經進入了大數據時代，大數據將改變人文科學和社會科學，重新界定商界和學術界之間的關係。 在過去，人們對書面記錄的訴求通常源於經濟活動。畢竟，除非能夠清楚地記錄誰擁有什麼，否則交易便毫無意義。因此，早期的人類文字大多和交易有關，人們記錄了大量的賭注、單據和合同。所以，早在我們祖先的著作問世之前，我們首先擁有的是關於交易和利潤的記錄。實際上，許多文明甚至沒有發展到記錄和留下偉大文學作品的階段，而我們通常會將文學作品和文化歷史關聯在一起。從古代社會留下來的東西主要是收據。如果不是這些爲商業目的而產生的記錄，對於古代文化我們將知道得少之又少。 在我們體驗現代生活所提供的各種便利時，互聯網不斷記錄下了我們日益增多的數字足跡：具有驚人廣度和深度的個人歷史記錄。 只要擁有充足的數字記錄和一定程度的計算能力，那麼人類文化的相關研究就會達到新的制高點，我們也就有可能在認識世界以及理解我們在世界中的地位方面作出令人驚歎的貢獻。 齊夫定理：詞在表中的位置和它的出現頻次之間存在着一種逆相關。詞的排序每升高10倍，譬如，從第50位到第500位，其出現頻次則會下降到原先出現頻次的1/10。齊夫定理告訴我們，詞彙世界遠不是正態的，詞的出現頻次遵循着一個特殊的、看上去很奇怪的數學模式。今天，科學家們將其稱爲“冪率分佈”（power laws）。例如，數學上，人們已經證明，“富者愈富”這一過程的確可以產生各種冪率分佈。認識的人越多，越容易認識更多的人。因此，在齊夫的世界裏，隨着時間的推移，起初比較受歡迎的人會越來越受歡迎。而規模較大的城市會吸引更多的人移居，使城市大小遵循着冪率分佈。 歷史潮流無法倒退，這些動詞一旦規則化，就無法再回到不規則形式。越來越多的不規則動詞轉變成了規則動詞，規則動詞則成了主流。 數據的性質是什麼呢？數據不是公共的，但也不是私有的。相反，數據是一種數字資源，是一塊“無主地”——數百萬人對它感興趣，但沒有人具有完整的權威將其佔有，而在法律中的地位也相對模糊。對科學家而言，大數據是規則改變者。我們過去習慣於這樣的世界：我們製造數據或者獲得數據，如果有必要，我們還可以分析數據，而這些最多也只需要獲得倫理方面的授權而已。 爲了更好地使用大數據，我們需要找出一種滿足四個重要標準的投影方式：第一，數百萬人共同創造了原始數據，數據投影需要能夠保護這些人的權利；第二，數據投影必須是令人感興趣的；第三，數據投影不能和數據持有公司的目的相違背；第四，產生數據投影的方法要切實可行。 語言不是在變化，就是在生長。爲什麼人們喜歡用世界語當口頭禪，在評論裏複製那些新鮮、高頻的網絡語言？因爲，新詞總是能夠讓人興奮。沒有人想要爲“死去”的詞彙舉行葬禮，因爲人性使然，人們總是喜新厭舊，在語言上同樣如此。 著名心理學家和語言學家史蒂芬·平克描述大腦是如何工作的，形容腦細胞是有規律地燃燒。理論對物理世界做了一些潛在的假設，而這些假設有可能是錯誤的。所以，知行合一的目的在於，用理論指導實踐，實踐證明或證僞理論。實踐過程中，如果要讓成功的概率儘可能高，就可以搞調研以及內測和公測，對產品和行爲進行驗證。 在測量的過程中，存在兩種誤差。第一類誤差叫作“隨機誤差”（random error）。即便測量對象不變，隨機誤差也會因一系列相關因素微小的隨機波動而產生。這種誤差通常以微小的波峯和波谷的形式出現。它雖然無處不在，卻通常沒有什麼意義。隨機誤差的優點在於，測量出的曲線雖然很扭曲，但是一般都保持在真值附近。第二類誤差叫作“系統誤差”（systematic error），通常很棘手。這類誤差一般會讓測量結果朝某個方向偏離，可能是放大，也可能是縮小。隨機誤差是我們可以忽略的，而系統誤差是我們必須要重視的。 思想的確可以從數百萬個渠道滲出。那些有信仰之人，無比珍視文字的保存和傳承，只要文字不滅，民族就有希望。一個世紀之久的羊皮紙上，每個字都完好無缺。和物種一樣，思想可以被複制並流傳開來，也可以變異。在美國，公民權利主要指黑人的權利，它可以作爲檢驗新生國家是如何對待少數族裔的一個樣例。 受民權運動成就的鼓舞，婦女組織、兒童組織和動物保護組織等一些組織紛紛加入了這波爭取權利的浪潮。19世紀60年代，女權組織首先發出了聲音，並在民權運動一個世紀後加速促進國家對婦女權益的保護。最近幾十年，兒童權利和動物權利開始普及。在今天，兩次錯誤不一定能夠換來一次正確。但是幸運的是，多次錯誤卻可以催生一場權利運動。 關於人類記憶，早在維也納學派形成之前，艾賓浩斯就贊同這樣的觀點：經驗、測量和實證是人類知識的基礎。 我們記得有多快和我們遺忘得有多快。實驗需要孤立的、可控的環境。然而，人類記憶不具備這樣的條件。我們記憶中的每一點信息都是嵌在一個概念網絡中的。對於每一個概念，我們將其和相關的事實、思想、人物、情感、地點、時間和事件等關聯在一起。概念之間的複雜關係對於記憶具有重要的影響。如此一來，研究我們對某個孤立事件的記憶將非常困難。 隨着時間的推移，集體遺忘的半衰期在逐漸變短。這一現象表明，整個社會對待過去的態度在發生變化。我們對過去的事情失去興趣的速度正變得越來越快。 互聯網需要開放，才能獲取更多有價值的數據。它從一開始就對保護隱私的準則進行了重新定義，以誘導人們對日益增加的個人信息進行傳播，無論是表達我們想法的博客，還是關於我們社會關係的狀態。我們知道這個故事會如何收場：不可避免地，一些人會開始自願地記錄他們的全部生活，而網站則會進一步推廣這些人的做法。 生活日誌不僅是我們觀察自己的窗口，也是觀察周邊世界的窗口。可穿戴電子設備，例如，Nike+FuelBand和Fitbit已經可以記錄你每天走了多少步、爬了多少階樓梯、消耗了多少卡路里等。隨身醫療裝置Scanadu Scout雖然只是一個小型的手持硬盤，卻可以時刻跟蹤和記錄使用者的體溫、心跳速率和血氧含量等，還可以進行心電圖檢查，甚至進行尿檢。 如果我們身體的某個部位出了問題，生活日誌就會立即通知我們的護理者。如今，年度體檢的就醫模式將完全改變。使用基於三錄儀的遠程醫療，醫療服務人員能夠記錄下你每天的身體狀況。如果發現你的身體哪裏看上去出現了問題，那麼他們很可能會在你想要求醫時打電話給你。 人們設計出此類腦機接口基於的是這樣一個事實：雖然機器難以理解大腦電波，但我們可以訓練我們的大腦，使其活動對於機器而言更爲“透明”。這是通過讓意識自由地產生機器能夠分辨的神經信號來完成的。 我們不妨大膽地想象，人們可能已經習慣於將內心獨白和相應的意識詞彙對應在一起，構建起一個實時的、沒有字幕的系統，而讓機器可以聽懂的設想並不瘋狂。如果我們按照這樣的方式和計算機互動，很可能就可以記錄下我們的內心獨白了。 每個感官體驗、每次心跳和腹部的每個響動，甚至大腦裏飄過的每個想法等，理論上來說都是可以被記錄下來的。實際上，用日誌將這些記錄下來可以使我們的生活發生巨大的變化，但現在這一切只是我們想象出來的。然而，如果實現的話，這些日誌不僅將改變我們的生活，還可能會比我們自身活得更久。這樣我們將能夠把自己的生命歷程留給我們的孩子和所愛的人。他們也將能夠從我們的成功和遺憾、智慧和愚蠢中學到一些東西：數字化的來世。如果你願意，也可以將你的生活日誌賣給某家公司，或者分享給科學家和學者。在未來的圖書館裏，自傳部分將不再只有一些故事，而是擁有一份份完整的記錄。 面對可視化的未來，我們需要跨學科、跨領域的共享視野，纔有可能駕馭那個神祕未知而又充滿挑戰的時代。這種學習和成長的必然性，也讓科學和人文志趣相投地走到了一起。

大數據的一個應用場景。缺點是拿着錘子找釘子，優點是用數據視角去整理人文歷史。 從技術角度看，其實是個沒什麼門檻的事：錘子就是n-gram元組詞頻分析。這個技術只是谷歌兵器庫中比較常見的一種武器。對谷歌而言，大很多個數量級的網頁信息都能處理，對付圖書館的書並沒什麼難度。只是由於對版權問題一向小心翼翼，所以不方便自己來搞。（其實最繁瑣的一步是將圖書數字化，如同搜索引擎裏的爬蟲。）讀過這本書，可以大概瞭解谷歌圖書項目的雄(ye)心(xin)。 如作者在書中提到的，本書中的研究有一些侷限性，包括但不限於下述幾點： - 圖書只能覆蓋一部分歷史信息 - 近現代（最近一百年）的書由於版權問題無法收錄 - OCR掃描精度導致少量錯誤 - 因爲保護知識產權無法使用比n-gram更強大的分析工具 從內容角度看，作者講故事的能力還可以，較爲失望的是提了不少關鍵問題但沒有答案。有些章節略顯拖沓，但整體還可以。 另外中文版沒有翻譯原書最後的Notes（註釋）一章，較爲遺憾。（作爲中文電子版應該收錄，作者提供了不少問題的上下文和相關鏈接。） 總體來講，本書有一定的啓發性，但是關鍵處有些隔靴搔癢。不妨看成是拋磚引玉之作：畢竟我們還處在大數據時代的早期，雖然深度不夠，但作者的探索和思考方向值得肯定。

如果說此前看到的很多書是讀完第一章就不必閱讀後續章節的話，那麼本書算是刷新了這個記錄，讀完前言部分就大抵不必去讀了。本書基本上用了所有的篇幅，只是敘述了一件事：根據谷歌閱讀的詞頻元組提取，試着去解讀各個人文學科領域的時代變遷，而其分析方法則是：1、繪製詞頻-年代曲線圖，2、分析詞彙半衰期。

大數據➕人文的故事解讀非常精彩，靈活運用跨領域、跨學科的分析方法，雖然作者對所能獲取的有限數據，在分析、清洗、解讀數據時的每一步都並不完美，但依然秉承了科學嚴謹的研究態度，令人欽佩。最重要的是作者提出了未來，對數據隱私的保護，對大數據進行有助於促進社會發展的解讀，以及運用數據分析可能存在的弊端，發人深思。相對於預測未來的技術而言，我們該如何預測未來的價值觀？