統計的魔法：揭開統計的另一面

嚴格地說，在科學方法中只能證僞，也就是說只能證明某理論不對，但不能證明它正確.這是因爲人類對自然界任何規律都不可能完全瞭解，任何理論僅僅是對自然規律的某種近似.統計學家George Box說過：所有模型都是錯的，但有些是有用的.

一、整體評價 一本挺有態度、有專業知識、有故事情節的高水平統計書。核心立意是統計不應成爲是“避實就虛”的藝術，不該變成爲人的“下一步”合理化服務的過程藝術，模型爲數據服務，而不是數據削足適履。對於“亂假設”、“套模版”、“模型驅動”（錯誤假定模型導致的精確解/錯誤的模型把正常的點當成‘異常點’）等思維的質疑、打破以及吐槽，剖析很有新意的。 形式上有故事情節，有衝突、有小說的緣故很輕快，有問有答，比喻也有意思（例如拿烤襪子和顯著性水平α、零假設對比;用燒菜說明迴歸模型參數和計算殘差平方和SSE（或R2））。多處用“改錯題”的對比方式方式集中展示了“按需畫靶”、硬靠結論、一個模型不行就推斷數據不行、模型有效但現實中根本無應用價值、用瞎用顯著性水平等誤區。 二、一些摘錄 1、假設檢驗、零假設、備擇假設 - 【雖然顯著性水平α的大小（比如0.05）完全是人爲設定的，本應受到懷疑，但因其是‘權威’採用過的而照用不誤”。】 - 【“前面的若干假定被稱爲‘假定(assumption)’而後面要驗證的被稱爲‘零假設(null hypothesis)’H0，這使得數學家習慣性地覺得前面的‘假定’是應該自然認可的，只有後面的‘零假設’纔是可以懷疑的.”】 - 【“許多數理統計教科書還把‘檢驗不顯著’作爲‘接受零假設’的綠燈…”】 - 【在法律上的無罪推定(presumption of innocence)原則指的是‘未經審判來證明有罪確定之前，優先推定被控告者無罪’.這是個法律狀況，而不是實際狀況.】 - 【由於頻率派只考慮零假設而不考慮備擇假設，因此只要觀察到的均值（如k或）不剛好等於零假設，在樣本量足夠大時，就可以拒絕零假設…但貝葉斯統計卻真正用備擇假設和零假設做了對比之後才做出對零假設有利的結論.”】 2、均值 - 【即使完全知道一個總體均值的大小，對於瞭解均值所反映的總體可能完全沒有意義，比如你們提出的收入例子.】 3、大樣本 - 【我們都在微積分課程中學過極限，極限理論的典型結論都是‘存在一個N，當n＞N時……’，這僅僅描述了極限的存在性，至於n的具體值多大才能算是‘接近極限’的標準則沒有一個極限理論會給出，爲了給外行人某種統計可以很容易做確定性決策的印象，某些統計文獻提出了諸如‘30是大樣本’‘p值小於0.05就顯著’之類的說法，反正他們不用對這類說法承擔任何後果.】 4、驗證/交叉驗證 - 【數理統計對數據所做的所有數學（或概率）假定，比如變量是否‘獨立’、是否‘同分布’、是否屬於某個‘分佈’（特別受關注的是正態分佈），以及變量間是否有‘線性關係’等，全都是無法用任何統計方法驗證的.】 - 【我們既用L教授使用的邏輯迴歸，也用決策樹和基於很多決策樹的隨機森林兩種機器學習方法，通過交叉驗證的預測精度來比較3種模型的優劣】 - 【判斷模型好壞的標準是交叉驗證的預測精度，也就是說，用一部分數據建模，而用另一部分未參與建模的數據來計算預測精度，我們這裏打算利用10折交叉驗證法，也就是說，把數據分成10份，每次用1份數據作爲測試集來測試那9份數據一起建立的模型.這樣可以循環做10次，得到每個觀測值的預測精度.】 5、近似解/精確解 - 【決策樹是正確問題（以預測精度爲目標）的近似解，而線性迴歸是錯誤假定的線性模型導致的精確解…】 6、你不在別人的模型中 - 【錯誤的模型把正常的點當成‘異常點’…而正確的模型不存在‘異常點’… - 【一些天才往往被認爲是‘怪人’或‘異類’；一些有創新性的思想也會被人認爲是‘異端邪說’或‘妄想’，只有平庸的人才會被同樣平庸的羣體所認同】 7、解讀方式 - 【這個問題被稱爲辛普森悖論(Simpson’s paradox)，幾組數據中出現一種趨勢，在將這些組數據組合在一起時趨勢就會消失或逆轉.這種結果在社會科學和醫學科學統計中經常遇到.當頻率數據被過度賦予因果解釋時，它尤其成問題.只有在建模中適當處理混雜變量和因果關係時，纔有可能得到解決】

雖然寫得不甚有趣，但書中的道理很深刻，發人深省，值得借鑑。書中舉了很多醫學界包括心理學的研究例子，覺得經濟學界這個統計問題也很嚴重，很多經濟學文章都是基於模型在討論，而幾乎每一個經濟指標都不能視作單獨變量，不知那些模型研究是如何設定參數的，這也是很多經濟學家說出的預測在實踐中一點也不準的原因。非常推薦讀這本書。

讀完覺得當年在大學學的數理統計已經完全被顛覆了，說理簡明，需要一些高數基礎知識才能看懂，把代碼全部展示出來的做法也很棒。對貝葉斯派產生了興趣，回頭去找本書看看

這本書的很多觀點我其實不太贊同：作者從實際數據的角度，對傳統統計理論發起猛烈挑戰，勇氣可嘉。但是統計是一個應用科學，很多時候我們只能接受夠用和近似精確，無法完美證明。 作者反覆強調總體不可知，實際上就是暗示抽樣檢驗不可靠。但是按照這樣的觀點，所有的質檢或者新藥研發都將變得不可能。因爲不可能窮盡所有實驗結果，實驗就會無窮無盡地做下去。 作者似乎很推崇貝葉斯統計，但是在我看來，如果用先驗概率代替總體參數，再用後驗概率來修正，結果也未必令人心安，因爲總有新的證據來改變舊的信念。 但是我還是推薦本書，原因在於大數據時代讓我們有了更強大和多樣化的數據檢測手段，兼聽則明，不同方法之間確實應該交叉驗證，同時我也期望在將來的論文中看到不同統計方法（抽樣統計，貝葉斯統計，機器學習）對比驗證的結果。

統計本身不具有社會性，但是進行統計人還有對於數據的態度還是具有的，同時解釋的方式也是具有社會性的，非常類似於做研究總是存在着一些執念，使得結果按照按照自己的想象來進行，如果不是想象就是痛苦，而且伴隨着認識手段的豐富，變得與設想一致，變得可能性越來越小了，本來相互之間沒有內在的邏輯關係，非常類似於前一段時間汽油漲價與掉下來飛機之間的聯繫，所以很多人都說研究的可重複性差不多就是量子之中的隨機，當然醫學研究這樣的狀態可能會更多一些，只是我們根據統計來進行分析的 ai，已經從因果變成數據類聚狀態，因爲不需要，只是相空間的極值達到了設定的標準就好，非常類似於生物分類學的完全隨機到林奈提出來的方法，依靠性來進行，當然伴隨着認識的發展，似乎那個時間能夠留下來的差不多隻有命名的規則，而沒有其他內容了。當下對於各種疾病都有了診治標準，比較典型的就是各種精神疾病，比如抑鬱症還 ADD 似乎都是可然性的方式來進行判斷，進行答題或者出現了各種症狀進行打分，達到了一定臨界值之後，就可以形成判斷，這個本身就是統計的結果，我們還是能夠看到統計對於我們世界的影響，但是從我們本性之中，還是不大相信本性所帶來的結果，比較典型的就是 i robot 之中對於各種判斷還是基於貝葉斯定理來進行數字的判斷，也就是我們經常說我們被物化所限制，儘管內心之中知道是準確的，但是就是感情上不願意接受，也許就是統計給我們帶來的矛盾，伴隨着 ai 時代的到了，似乎更加嚴重一些，比較典型的就是養蝦人帶來的後果不可預測性。

這本統計學科普書不同於一般意義上的統計，即以統計顯著性為判定標準，而是從理性和邏輯的角度，闡明過度依賴統計顯著性的問題。幾乎所有統計學老師都強調統計顯著的重要性，這一概念也廣泛應用於各種研究分析中，但即使是日這麼常使用的人，對significant p-value的誤讀也並不少見。我在接觸統計學不久就讀到過對significant p-value的評判文章，大學時曾就此問題與畢業論文指導老師討論，個人對p-value的解釋也比較謹慎。簡而言之，p-value在一定程度上只能證偽而無法真正證明「什麼是對的」或因果性。數據本身也許不會說謊，但誤讀與強加因果，可能得出極其荒謬的結論。

專業性比較強，作爲非專業讀者讀着有些喫力，但是內容比較深刻，其實不只是統計學，經濟學也在向數學轉型，原因無他，看着好看，或者說利用數學可以把學科包裝的更加像科學，但社會現象具有複雜性，以至於模型和研究的問題直接有着很大的出入

書通過一些故事利用理性和邏輯來剖析作爲傳統統計核心價值的“統計顯著性’’ 以及統計學家一些 ‘‘例行做法”，讓讀者從不同於教科書的角度認識數理統計中的邏輯及應用中的各種問題.

非常值得一讀的課外讀物，讀完之後有一種統計學大廈將傾的感覺。AI時代，統計學迫切需要一種全新的研究範式。