數據中臺：讓數據用起來

純陽書評第360期《數據中臺》這是第一本專門寫數據中臺的書，有亮點也有槽點。首先這本書寫得很聰明，善於選擇突破口。四大中臺中，組織中臺是老虎屁股摸不得，業務中臺也不是乙方輕易能搞得定的，技術中臺又離業務和管理型用戶有點遠，唯有數據中臺是個最好捏的柿子，是最好的突破口。那麼爲什麼這麼說呢？理由有三個，一是數據出價值已是共識，所以無需更多市場教育，用戶就知道數據中臺肯定有價值，所以選擇這個點作爲落地中臺的突破口會節省不少口水。二是數據中臺性格溫柔、脾氣和善，對企業現有的組織、管理、業務和IT系統都很友好，不會動不動就要求變革、發動革命，而是可以表現的人畜無害，羣衆基礎好，所以招致的反對最少。三是BI很早就開始落地實踐，不少企業的BI系統也上線了很多年，整個行業積累了爲數衆多的數據整合、分析、展示和應用的經驗、方法和工具，從而爲數據中臺的落地創造了相當有利的基礎，有效降低了其實踐難度。 顯然本書作者清晰地認識到了數據中臺的諸多有利條件，從而把數據中臺作爲當下中臺落地實踐的突破口，實屬聰明之舉。 其次這本書通過構建一個自洽的方法框架，把數據中臺從平臺選擇、數據匯聚聯通、數據開發、數據體系建設、數據資產管理、數據服務體系建設到數據中臺運營和安全管理各個環節要重點關注的問題和有關知識、方法和工具做了一個簡要的介紹、梳理和總結，形成了一個可以幫助讀者快速瞭解這個領域的結構化知識體系。 然後要說這本書的槽點了。 第一個槽點是，感覺這本書的調子起高了。數據中臺肯定是一個很好地工具，這點毋庸置疑，但是如果把它拔得太高的話，就必然會面臨過猶不及的尷尬。第1.4節“開啓信息化的下一站”中作者回顧並梳理了信息化建設的歷程，總結了“軟件功能驅動模式”、“數據治理驅動模式”、“業務能力驅動模式”和“業務服務化驅動模式”，這麼總結其實也沒多大毛病，並且指出企業在相當長時間內會有多種建設模式並存，這也符合事實，但是作者非要說以數據中臺爲驅動的建設模式將有可能成爲融匯歸一的新型建設模式，這就需要商榷了。信息化建設要提到模式這個層面需要考慮的東西很多，絕不是一個數據中臺可以搞定的。如果數據中臺可以創生一個新模式，那麼傳統BI豈不也可以早在幾十年前就宣稱自己也創生一個新模式？ 第二、作者講述數據中臺價值的邏輯可能需要探討。數據中臺的價值在哪裏？本書在1.4.2講了一個很有意思的邏輯，“數據中臺是增援未來，是以發展的觀點解決企業面臨的問題，面對不確定的未來，企業無法確認今天的數據未來會怎麼用，會產生什麼樣的價值，所以才需要數據中臺”，先把數據接進來，資產化、服務化，未來當企業看清業務場景再去應用。這段話的意思顯然是我做中臺賭明天，既然是賭那麼並不是所有人都應該走上賭桌，而且既然是賭，那麼怎麼能指望這種數據中臺驅動的信息化建設新模式能夠“開啓信息化的下一站”。一句話，到底數據中臺是確定的方向，還是本質上需要我們賭一把？我的答案是數據中臺肯定有價值，從工具的角度是方向，有問題的是作者的邏輯。 儘管有些小的邏輯問題，這本書還是值得一看，推薦!

這是一本業務視角優先、零基礎友好的數據中臺入門讀物，跳出晦澀的技術架構與代碼細節，用通俗直白的語言講透數據中臺的核心邏輯，尤其適合非技術背景、需要理解數據體系建設的從業者閱讀。 這本書核心解決的問題 1. 理清數據中臺的本質價值，破除概念迷霧 書中直擊企業最普遍的痛點：數據分散在各個業務系統、數據標準不統一、數據無法複用。它清晰解答了數據中臺到底是什麼，核心作用就是打通孤島數據、統一數據口徑，讓沉澱的數據真正產生業務價值，不再是閒置的數字資產。 2. 搭建數據治理的整體認知框架 本書完整梳理了數據中臺從建設到落地的全流程，涵蓋數據採集、數據清洗、數據建模、數據服務等關鍵環節，幫讀者建立系統化的數據思維，明白一套可用的數據體系需要哪些核心模塊支撐。 3. 提供貼近業務的落地方法論 區別於純技術類書籍，本書更側重業務應用層面的落地思路，講解如何通過數據中臺賦能分析、決策、風控等實際場景，讓讀者理解數據如何從原始素材轉化爲可直接使用的分析依據。 4. 銜接數據應用與AI智能化建設 書中內容可以很好承接知識圖譜、大模型等AI應用的底層基礎，讓讀者明白：無論是知識抽取還是智能問答，都需要一套規範、統一的數據底座作爲支撐，爲後續智能化項目建設奠定認知基礎。 整體評價 這本書是業務人員入門數據體系的優質選擇，不堆砌專業術語，不講複雜技術原理，只聚焦數據如何服務業務。 它最大的作用，就是幫讀者跳出技術細節，建立“數據驅動業務”的底層思維，理解數據中臺是所有智能化應用的基礎，爲後續開展AI、知識圖譜類項目提供底層邏輯支撐。

整本書讀下來，給我的感覺就是數據中臺是一套體系，或者說是一種思維方式。之所以會有這種思維方式的出現，是因爲對現有業務所呈現出來的缺口進行一個有效的補充。而原有的系統結構和模式太過於沉重和複雜，以至於並沒有很好的辦法去改造。從戰略層面上來講，數據的使用和安全保護肯定是未來企業在運營，管理以及產品設計的上的突破點。但是是否適用於所有的企業，還是要根據企業自身狀況和所處規模來看。畢竟給我的感覺，數據中臺的建設無論成本，人力，資源的投入都是不小的開支，如果並沒有顯示出更多的價值，那麼企業自然也很難堅持下去。同時，數據中臺推出數據思維的概念，我覺得這是未來各個企業進行數字化轉型必備的需求，拿招商銀行爲例，銀行從原有的對資產和負債的重視，逐步轉換爲對月活等相關經營指標的重視，從某種程度上來說這就是從上到下的一種思維的革新。企業要做數據中臺，要做數字化轉型，首先要做的就是上層領導必須開始用數據進行思考和經營，這樣纔能有效的推進數據中臺。從另一個角度來看，要做數據中臺對於數據的要求就會更加的多樣化和全面性，對於中小企業，它們的業務模式相對來說還是比較單一，尤其對於tob端的企業來說更是如此，它們如何利用數據來產生更多的價值，又該如何形成這種正反饋效應？在我看來，行業的強大來自於整個行業產業鏈和上下游資源調配的能力，所以數據使能也不僅僅是終端企業的事情，如何讓整個生態抗風險能力更強，我覺得也是以後整個熟悉化推進應該考慮的方向。

小白用這本書入門還挺好的。面試官或很喜歡問的一些問題這本書都給了答案。 比如說爲什麼要治理數據？ 數據能有什麼應用？ 過程中困難會遇到什麼問題？怎麼解決？ 有幾個點是我比較有收穫的： 1.人人都在說數據很寶貴，但是數據具體可以做什麼呢？ 大數據應用 ❏金融風控和反欺詐：利用關聯分析、標籤傳播、Page Rank和社團發現等圖算法組件，構建金融反欺詐核心能力，根據客戶本身屬性和行爲數據識別虛假賬號和欺詐行爲，增強金融監管能力，保障金融業務穩定和安全。 ❏文本挖掘分析：利用命名實體識別、圖挖掘等文本算法能力，通過分析非結構化的文本信息自動識別其中的實體以及它們之間的關係，構建關係網，可以深度分析以前未處理的一些線索。 ❏廣告精準營銷：通過深入洞察客戶需求、偏好和行爲，利用特徵分箱、Light GBM、PMI等算法組件構建的機器學習模型來智能挖掘潛在客戶，實現可持續的精準營銷計劃和高質量曝光率，有效提升廣告點擊率。 ❏個性化推薦：利用協同過濾、XGBoost等推薦場景組件，通過分析海量用戶行爲數據構建多維用戶畫像，實現千人千面的推薦，提高轉化率。 這些場景的落地通過算法開發工具可以大幅提升效率，當企業缺少算法工程師構建場景時，可以降低企業構建智能化場景的門檻，快速實現企業需求。 2.面試官比較愛問的：在數據建設的過程中遇到了什麼困難？解決方案是什麼？ 在這本書裏面也有答案。 數據治理遇到的問題： ❏對建設數據標準的目的不明確。 ❏過分依賴諮詢公司。 ❏對數據標準化的難度估計不足。 ❏缺乏落地的制度和流程規劃。 ❏組織管理水平不足。

快速看完了本書，有點失望。 本文對數據中臺的定義非常高大上，“數據中臺是一套可持續“讓企業的數據用起來”的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建的一套持續不斷把數據變成資產並服務於業務的機制。”書裏提到，數據中臺是一個包含數據倉庫的數據建設和組織機制。 但是全書的內容卻還是跟以前的數據倉庫建設方法論沒有太大區別，80%都是數據倉庫建設的內容，就是多了一些大數據技術的覆蓋和標籤體系建設的方法。完全可以叫新一代數據倉庫。 書中對於企業應該如何從組織架構調整，人員角色配置和運行機制方面來確保數據中臺能夠順利啓動和健康運行的內容太少，高度不夠。 本書對於製造，零售，政府這些數據建設相對落後的行業來說有不錯的價值，可以作爲啓動企業數據平臺建設的參考。但對於銀行，電信這些數據建設成熟度非常高的行業，就顯得太落後了點

據說，2019年是數據中臺元年。作爲一個數據PM，之前從三節課的中臺產品經理課程中對中臺這個概念有所瞭解。花了兩個幾小時，一口氣翻完了後的感覺是:這個是讓老闆對數據中臺立項的好推手。言歸正傳，我個人覺得以下幾章推薦指數較高: 第4章 企業數據建設成熟度評估，可用於企業自查思考，書中圖表僅做參考; 第8章 數據資產管理，這塊是極易忽視但非常重要的，供自查; 第9章 數據服務體系建設，瞭解業務數據化後的數據服務化的可能方式。 其他章節視大家的興趣和背景簡單瞭解即。 如果你對數據分析或數據產品的工作感興趣，可找來其他的書一起看。 相關書單如下: 1.想入行分析師，或希望學會數據分析能力的同學 ，可通讀《數據分析:企業的賢內助》一遍，尤其關注方案設計、數據分析思路部分。與自己看數據時的思路做對比，或參考文中提供的思維模型（KANO/SWOT/5W2H等）去試着分析自己面臨的問題，內化知識，效果更加。 2.想對數據採集方法、數據模型（事件分析漏斗分析、留存分析、分佈分析、點擊分析等）瞭解更多的，可閱讀神策數據桑文鋒的《數據驅動:從方法到實踐》。 3.瞭解更多的數據分析方法與應用，可閱讀talkingdata於洋的《遊戲數據分析的藝術》，只看目錄，就能發現很多有意思的部分，比如收入分析、圖關係分析。 4.網站分析方面，推薦王彥平的《人人都是網站分析師:從分析師的角度解讀和理解數據》。這本書全全面詳實地介紹了GoogleAnalysis的使用和原理，如站內搜索分析，歸因分析。目前國內的百度統計等網站統計，都源於GA，想了解網站分析鼻祖GA的同學可以看看。 5.想轉行數據產品的，可閱讀李鑫《數據產品經理的必修課》。書中對數據PM的日常工作梳理得非常清晰，覆蓋的能力圖譜也非常全面。 6.行業趨勢，推薦閱讀數瀾科技的《數據中臺:讓數據用起來》。其中，第4章 企業數據應用成熟度評估 和第7章 數據中臺體系架構，推薦優先閱讀。 希望以上書單，對大家有所幫助[微笑]

數據中臺讀書筆記： 首先這本書的核心傳遞的價值非常明確：數據中臺就是讓數據持續用起來，然後整本書就都在講解如何能夠讓數據持續用起來。 第一，先做數據的匯聚，這部分講的是數據的採集和存儲能力，數據源需要支持各種類型的數據來源，同時需要能夠支持這些異構數據的存儲（這部分與我們的理解是一致的）；--這一部分是對應產品能力 第二，採集完成後需要進行數據體系的建設，即構建分層數據倉庫：貼源層（對應我們的原始域）統一數倉層（也叫明細數據層，對應我們的標準域）、標籤數據層（這個我們沒有）以及應用數據層（對應我們的應用域。貼源層與數據源進行對應，數據結構也保持與業務系統的一致，目的是對原始系統數據進行初級加工，比如去重複，合併等處理，與我們的原始域的作用一致；統一數倉層就是進行業務域建模，構建面向主題的數據存儲，構建維表、事實表以及各種指標統計；標籤數據層是我們沒有的，主要是構建樹形結構的標籤體系，主要目的是對數據進行分門別類，以及標籤計算，對核心數據按照標籤體系進行打標記，比如客戶數據、產品數據。同時本書推薦採用橫表進行數據存儲（HBase是個選擇）。另外在標籤數據層中還有一個比較重要的一點是構建super-id，即統一數據的唯一標誌。比如一個人的信息可以通過身份證號碼、護照號碼、社保號等，需要用一個超類ID來統一這些唯一標誌，能夠確定是同一個人。應用層數據的建設與我們的認識一致，即按照頂層業務的實際需要構建相應的數據集。---這一部分主要是實施交付、體力活 第三，進行數據資產管理（數據治理），本書提及了信通院的《數據資產管理實踐白皮書》講解了數據資產管理包含數據治理。之所以第三步是數據資產管理，因爲第二部已經把數據體系建立起來了，有數據需要管了。在講數據治理方法論上提到了國際數據治理委員會DAMA的成果，以及工信部下屬的電子工業標準化研究院牽頭，聯合多家高校和著名企業提出的DCMM，本書以這個爲主展開的內容。在進行數據資產管理時依託信通院的白皮書中提出了包含的數據標準管理（我們有並不完善）、數據模型管理（需要完善）、元數據管理、主數據管理（欠缺）、數據質量管理、數據安全管理（欠缺）、數據價值管理（欠缺）、數據共享管理、生命週期管理（欠缺）、標籤管理（欠缺）、數據資產門戶。----這部分對應產品能力 另外本部分，本書還提及了比較虛的管理效果評估 第四，數據資產也管理起來之後，下一步就是對外提供服務，即數據服務體系的建設，這部分的內容需要我們的dataservices+apim+catalog進行能力融合，與我們的醫療信息共享平臺類似。---這部分對應產品能力 第五，整個服務體系建立起來之後，就表示已經有人開始使用數據中臺對外提供的能力了，接下來就是如何進行這些能力的運營。這部分提出了一些包括如何控制成本，以及運營口訣：戰略層面要重視，組織機構打紮實，數據氛圍造起來，內部典型須周知，安全意識不放鬆，成本賬單詳追蹤，質量規範嚴落地，中臺運營必成功。 最後，則是進行數據安全的管理和控制，需要確保平臺安全、服務安全、數據安全以及apt攻擊防禦。手段：統一認證、資源隔離、數據加密、數據脫敏、數據容災備份。這部分內容參考意義不大。 本書的價值在於補全了我們在數據標籤上的科普，以及更加系統的講解數據中臺。另外附件的各個行業的解決方案圖中枚舉的數據體系的各層級數據的業務描述幫助我們完善行業方案。

沒有幾年福報廠經驗都看不懂, 書中一堆阿里味名詞: 覆盤，賦能，抓手，對標，沉澱，對齊，拉通，倒逼，顆粒度，落地，中臺，方法論，漏斗，組合拳，閉環，打法，履約，引爆點，串聯，價值轉化，紐帶，矩陣，協同，反哺，點線面，認知，交互，兼容，包裝，響應，刺激，規模，重組，量化，寬鬆，資源傾斜，完善邏輯、抽象，複用打法，發力，精細化，佈局，商業模式，聯動，場景，聚焦，快速響應，影響力，價值，細分，垂直領域，維度，定性定量，聚焦，去中心化，關鍵路徑，接地氣，梳理，輸出，格局，生態，協同、點線面、強化認知、強化心智、擊穿心智、下鑽、挖掘、交互、兼容、包裝、附能、響應、刺激、規模、重組、量化、寬鬆、資源傾斜、完善邏輯、抽離、打法、發力、精細化、閉環、佈局、商業模式、聯動、場景、痛點、落地、跟進、方法論、迭代、快速響應、影響力、價值、細分、垂直領域、維度、顆粒、定性定量、聚焦、關鍵路徑、接地氣、梳理、輸出、格局、生態、沉澱、抓手、結果導向、話術、體系、對齊、同步

可以作爲數據中臺入門的一本合格科普讀物。 本書從數據中臺的概念入手，區分了數據中臺與傳統數據庫，隨之介紹了數據中臺的架構——基於雲底座，服務於應用，由數據匯聚、數據開發、數據體系、數據資產管理和數據服務體系五部分構成，此外還有配套的數據運營體系和數據安全管理。後文分別以此七部分爲七個章節，展開敘述了數據中臺的全貌。 首先數據中臺的定義，本書認爲數據中臺是一套可持續“讓企業數據用起來”的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，夠賤的一套持續不斷把數據變成資產並服務於業務的機制。數據中臺具備數據匯聚整合，數據提純加工，數據服務可視化，數據價值變現4個核心能力。爲了讓數據用起來，就要形成業務數據化，數據資產化，資產服務化，服務業務化的閉環。 數據中臺的建設方法論，1種戰略結構，把數據中臺驅動業務發展定位爲企業級戰略。2項保障條件，通過宣導統一組織間的數據認知，通過流程加速組織變革。3條目標準則，將數據的可見、可用、可運營3個核心準則始終貫穿於中臺建設的全過程，保障建設在正確的軌道上。4套建設內容，通過技術體系，數據體系，服務體系，運營體系建設保證中臺建設的全面性和可持續性。5個關鍵步驟，通過理現狀，立架構，建資產，用數據，做運營5個關鍵行動控制中臺建設關鍵節點的質量。 數據中臺建設前先進行評估和選擇，數據應用成熟度分爲統計分析階段，決策支持階段，數據驅動階段，運營優化階段。第四階段就是數據中臺需要出馬的時候。 接下來是數據中臺的建設內容，首先是數據匯聚。數據採集有線上行爲採集(客戶端埋點，服務端埋點)，線下行爲採集，互聯網數據採集，內部數據匯聚(數據組織形式有結構化數據，半結構化數據，非結構化數據，數據時效性有離線數據實時數據)。其中數據交換有ETL和ELT兩種方式，也有離線數據交換和實時數據交換不同的方式。在數據存儲方面，考慮到數據規模，數據生產方式，數據應用方式，可以採取在線和離線，OLTP和OLAP，分佈式系統,關係型數據庫,非關係型數據庫和雲數據庫等不同的存儲組合。 在數據開發層面，涉及的產品能力有離線開發，實時開發和算法開發三部分。計算能力分爲批計算，流計算，在線查詢和即席分析4類型(非行業通用分法)。離線開發套件的核心功能有作業調度，基線控制，異構存儲，代碼校驗，多環境級聯，推薦依賴，數據權限等。實時開發的特點是實時且無界的數據流，持續且高效的計算，流式且實時的數據集成。算法開發套件架構下方是統一存儲，統一調度，計算框架，組件庫組成的AI能力;上方是數據準備，預測學習，模型管理和服務管理的AI工具。 數據體系從下到上是貼源數據層(ODS)，統一數倉層(DW)，標籤數據庫(TDM)，應用數據層(ADS)。 數據資產的定義是企業擁有或控制的，能夠爲企業帶來未來經濟利益的，以物理或者電子的方式記錄的數據資源。本書將數據資產和數據治理混爲一談，是最大的一個問題。後續內容其實都是講怎麼做數據治理的。包括數據標準管理，數據模型管理，元數據管理，主數據管理，數據質量管理，數據安全管理，數據價值管理，數據共享管理，生命週期管理，標籤管理，數據資產門戶等。書中提到數據資產管理的7個成功要素，分別是強有力的組織架構，清晰的數據戰略，重視數據的企業文化，合理的制度與流程，標準與規範，成熟的軟件平臺，科學的項目實施。 數據服務按計算邏輯封裝方式分爲基礎數據服務，標籤畫像服務，算法模型服務。常見的數據服務有圈人服務，推薦服務，分析服務，查詢服務。3種常見的數據應用有數據報表，數據大屏，智能應用。 數據中臺的運營4個價值切入點爲統一戰略，搭建組織，打造氛圍，實踐創新。4個目標是可閱讀，易理解，好使用，有價值。數據資產運營執行的5個動作是組織登記，宣傳推廣，服務保障，治理優化，價值評估。 數據安全對平臺安全，服務安全，數據安全，APT攻擊防禦四方面帶來挑戰。大數據平臺安全管理技術手段有統一安全認證和權限管理，資源隔離，數據加密，數據脫敏，數據共享安全，數據容災備份。

《阿里巴巴雲上數據中臺之道》、《阿里巴巴中臺戰略思想與架構實戰》、《大數據之路：阿里巴巴大數據實踐》，關於中臺的幾本書無外乎這幾本，而《數據中臺：讓數據用起來》基於中臺實施經驗講述但跳出中臺實施範疇，抽象出對中臺概念、中臺價值、中臺定位、中臺實施方法的說明，對個人啓示頗多。本書核心在七、八章，分別對數據體系建設和數據資產管理作了詳細描述，但是天下文章一大抄，第七章涵蓋大量Kimball數據建模內容，第八章涵蓋大量《數據資產管理實踐白皮書4.0》內容，大家可以閱讀後分別展開擴展閱讀學習。 數據中臺概念雖火，但落地實施很難，主要原因是各類數據管理水平與數據應用水平不一，若要真正提升數據價值，數據平臺升級-數據質量提升-數據模型優化-元數據管理細化，再走上一遍OneData、OneEntity、OneService與企業組織架構優化，然後再上數據資產化，ID-Mapping標籤體系，小企業根本扛不住也很難活到最後看到價值的時候。因此本人更期待未來出現一些適合各行業且符合"數據中臺"理念“小而美”的“最佳實踐”，讓數據中臺概念泛化在各類數據實踐中。