
華爲公司數據管理部
內容簡介 這是一部從技術、流程、管理等多個維度系統講解華爲數據治理和數字化轉型的著作。華爲是一家超大型企業,華爲的數據底座和數據治理方法支撐着華爲在全球170多個國家/地區開展多業態、差異化的運營。書中凝聚了大量數據治理和數字化轉型方面的有價值的經驗、方法論、規範、模型、解決方案和案例,不僅能讓讀者即學即用,還能讓讀者瞭解華爲數字化建設的歷程。 全書共10章,內容從邏輯上分爲四個部分。 第壹部分(第1~3章) 第1章以非數字原生企業在數字化轉型方面面臨的挑戰開篇,介紹了華爲在數據治理和數字化轉型方面的目標、願景、藍圖和框架;第2章從企業政策和架構協同的角度,介紹了企業級的數據綜合治理體系,理順了數據與變革、運營、IT之間的協同關係,明確了數據管理的責任主體在業務;第3章詳細闡述了不同類型的數據的管理方式和要點。 第二部分(第4~6章) 詳細講解了數據治理工作中的三項重點任務:信息架構、數據底座、數據服務。第4章介紹了信息架構的四個組件,給出了建設原則和核心要素,並引出了業務對象、過程、規則三項數字化的建設方向;第5章提出了數據底座建設的整體框架,介紹了數據湖和數據主題連接兩個層次的建設實踐;第6章以自助、高效、複用爲數據服務的目的,提出了對數據進行搜索、加工和分析的消費過程管理方案。 第三部分(第7~9章) 系統總結了數據治理的三項關鍵能力:數據的全量感知、綜合質量提升、可控共享。第7章以數字孿生的全量、無接觸感知爲目標,介紹了數據的硬感知和軟感知兩類能力;第8章基於PDCA框架,介紹了對企業業務數據異常的全面監控;第9章介紹瞭如何構建以元數據爲基礎的數據安全隱私保護框架,如何建立動靜結合的數據保護與授權管理方案。 第四部分(第10章) 基於對“機器認知世界”的理解,我們提出了對數據治理未來的思考,暢想了AI治理、數據主權和數據生態建設。未來已來,讓我們共同努力,把數字世界帶入每個人、每個家庭、每個組織,構建萬物互聯的智能世界。
《華爲數據之道》 一句話概括 企業數據治理的目的不是建設更多數據庫和報表,而是把分散、混亂的數據轉化爲可信、可聯接、可複用、可管控的生產要素,持續支持業務經營與數字化轉型。 核心邏輯 全書圍繞一條完整的數據價值鏈展開:明確數據治理責任 → 按數據特性分類管理 → 建立統一的信息架構 → 建設可聯接的數據底座 → 將數據封裝爲可複用服務 → 讓業務人員自助消費 → 實現業務全量感知 → 持續保障數據質量 → 在安全合規前提下共享 → 最終形成數據資產和企業競爭力。 華爲的數據治理並非一個獨立的IT項目,而是嵌入業務流程、經營管理、組織變革、IT建設和內部控制中的長期管理機制。 核心內容 1. 數據驅動數字化轉型 非數字原生企業通常存在產業鏈長、系統複雜、歷史數據包袱重、數據交互風險高和口徑不一致等問題。數字化轉型首先需要把業務對象、業務過程和業務規則數字化,讓數據能夠真實反映企業的運行狀態。 2. 建立企業級治理體系 企業需要制定統一的數據管理政策,覆蓋信息架構、數據源、數據質量、安全和共享等領域。治理不能遊離於業務之外,而應進入變革項目、日常運營、IT實施和內控體系。 3. 業務負責,而非IT獨自負責 數據產生於業務,也服務於業務,因此業務部門必須承擔數據責任。華爲通過數據Owner和數據管家等角色,明確誰定義標準、誰保證質量、誰批准使用、誰推動問題解決。IT部門提供平臺、技術和專業支持,但不能代替業務判斷數據含義及價值。 4. 按數據特性分類治理 不同數據不能採用同一種治理方式:基礎、主數據、事務、報告、觀測和規則等結構化數據,重點是統一語言和標準;非結構化數據,重點是內容識別和特徵提取;外部數據,重點是來源合法、使用合規和權利清晰;元數據負責描述數據的來源、含義、位置、關係和變化過程,貫穿整條數據價值鏈。 5. 用信息架構統一企業語言 信息架構由數據資產目錄、數據標準、數據模型和數據分佈等部分組成。它解決的是企業內部“同名不同義、同義不同名”和系統各自定義數據的問題。信息架構必須從業務對象出發,明確每類數據的定義、結構、責任、來源和使用位置。 6. 建設面向聯接共享的數據底座 數據底座不是簡單把數據複製到一個集中倉庫,而是形成可管理的邏輯匯聚。數據入湖需要遵循統一標準,確保來源可追蹤、定義可理解、質量可評價、安全可控制。在匯聚之後,還要通過多維模型、圖模型、標籤、指標和算法模型,把原始數據聯接成可以支持業務判斷的信息。 7. 將數據產品化、服務化 數據價值不能停留在存儲層。企業需要把常用數據加工能力封裝成標準化數據服務,實施從設計、開發、發佈、使用到下線的全生命週期管理。通過數據地圖,使用者可以像查地圖一樣發現數據,瞭解其含義、來源、質量、權限和可用服務,減少重複取數和重複建設。 8. 從專業取數走向業務自助 傳統模式中,業務人員提出需求,數據團隊反覆取數和製作報表,效率低且難以複用。新的模式是提供統一數據服務、分析工具和標準指標,讓業務人員能夠自助發現、分析和使用數據,逐漸實現“人人都是分析師”。 9. 從結果觀察走向過程管理 數據不僅用於事後製作報表,還應實時反映業務過程。企業可以通過物理世界的“硬感知”和數字系統的“軟感知”,形成更加完整的數據採集能力,構建與現實業務同步的數字孿生。管理由此從“發生了什麼”進一步走向“爲什麼發生、正在發生什麼、接下來應該採取什麼行動”。 10. 建立數據質量閉環 高質量數據必須具有完整性、準確性、一致性、及時性和有效性。華爲採用基於PDCA的質量管理框架:定義質量規則、監控異常、度量水平、定位根因、推動整改,再持續驗證效果。數據清潔不能依賴一次性專項治理,而應在數據產生的源頭和業務流程中預防問題。 11. 在安全合規前提下共享 數據安全不能簡單依靠禁止訪問,也不能爲了便利而無限開放。企業應以元數據爲基礎識別數據內容,進行安全與隱私分層分級,再根據用戶、用途和場景實施授權。保護機制既包括脫敏、加密等靜態保護,也包括訪問權限、使用控制和審計追蹤等動態管理。 12. 數據最終成爲企業資產 數據作爲生產要素,其價值來自實際使用和市場需求。企業未來不僅要知道擁有哪些數據,還要能夠描述其質量、成本、權利、風險和業務價值。在跨企業數據生態中,數據主權、可信交換和多方安全計算將成爲釋放數據價值的重要基礎。 本書最值得關注的核心觀點 • 數據治理首先是業務管理問題,其次纔是技術問題。• 數據Owner必須來自業務,IT不能代替業務定義數據和承擔最終質量責任。• 數據匯聚不等於數據聯接,只有經過語義、模型、指標和關係加工,數據才能轉化爲信息。• 元數據不是輔助文檔,而是資產發現、質量追蹤、安全管控和服務複用的共同基礎。• 數據質量問題應優先在數據源頭和業務流程中解決,而不是長期依靠事後清洗。• 數據平臺的真正價值不是“存了多少數據”,而是業務能否快速、安全地找到並使用可信數據。• 安全和共享不是非此即彼,分層分級及動態授權可以在兩者之間建立平衡。• 數據治理的最高階段,是讓數據進入業務決策和運營過程,而不只是生成管理報表。 一段話總結 《華爲數據之道》系統呈現了大型非數字原生企業的數據治理方法:以業務負責制和企業級政策建立治理基礎,根據數據特性實施分類管理,再通過統一的信息架構、數據標準和元數據形成共同語言;以數據湖和主題聯接構建數據底座,將原始數據加工爲指標、標籤、模型和可複用服務,並藉助數據地圖與自助分析推動業務消費;同時通過全量感知、PDCA質量閉環、安全分級和動態授權,保障數據可信且可控地流動。全書的核心不是如何建設一個數據平臺,而是如何將組織責任、業務流程、數據架構和技術能力組合起來,使數據從系統副產品轉化爲能夠持續支持經營決策、業務創新和企業協同的核心資產。
#小曾曾讀書筆記#華爲公司的數據管理部,根據華爲在數字化轉型過程中遇到的問題、沉澱的體系方法論,總結除了這本內容相當詳盡的數字化轉型指南《華爲數據之道》。 什麼是數字化企業? 百度的解釋是:指那些由於使用數字技術,改變並極大地拓寬了自己的戰略選擇的企業。數字化企業具有自己的戰略特點,其建立了一種企業模式,能夠以新的方式創造和捕捉利潤,建立新的、強大的客戶和員工價值理念。 華爲自己的理解,它對數字化企業的定義是四個關鍵詞:連接、在線、共享、智能。 即,連接萬物、隨時在線、共享互惠、智能決策。 在數字化轉型的過程中,從降本增效的層面,要反覆問團隊三個問題: 1、要解決用戶的什麼問題(對外)? 2、要解決業務的什麼問題(對內)? 3、變革是否有方向可持續(方向)? 華爲爲了實現規劃中的數據世界,其核心方法論用書中的話總結即爲: 一方面通過感知能力實現業務數據的自動採集,另一方面通過一些技術手段,把現有的各個相對獨立的數據庫中的數據按一定的標準進行匯聚和聯接。 全書內容也按照這句話展開。 全書可讀性:優;實操性:優。
當今的世界,正在經歷百年未有之大變局,雲計算、大數據、人工智能等新興技術,突飛猛進,不斷地變革着人們的生產生活方式,同時也催生了一大批新的企業和就業機會,成爲經濟增長的新動能。 這其中,企業的數字化,無疑是一條引起無數人關注的賽道,說是目前國內最火的賽道也不爲過。 爲什麼這條賽道能這麼火呢? 我認爲有以下幾個原因。 首先,企業的需求是真實且迫切的,數字化確實能給企業降本增效,甚至能幫助企業找到新的商業模式,提升自己的競爭力,打造自己的護城河,況且,如果對手都在做數字化轉型,企業不自己跟上,就會掉隊,IDC預測,一旦完成數字化轉型,將有三分之二的企業,失去自己的目標市場,這是個多麼可怕的事情,不轉型,就等死。 其次,這個市場比較大且遠遠不飽和,國內有幾千萬家企業,其中有這麼多的非數字原生企業,這麼多的工廠,這麼多的中小微企業,都沒開始或者剛剛開始做數字化,所以數字化轉型這件事,是可以長久的做下去的,很有前途。 還有,從國家的政策層面,也是給予很大的支持,隨便到網上一搜,就能發現各級政府,都在密集的下文件來推動企業的數字化轉型。 最後呢,其實從生產力的角度,你也會發現,數字化是人類社會非常需要,而且必須要邁出的一步。舉個例子,根據聯合國糧農組織的數據,到了2050年,世界人口數量將達到100億,糧食產量需要增加70%,這部分產量從何而來?四個字,開源節流,這其中的開源,有一個很重要的舉措,就是提高農業數字化的水平,通過一些數據監測、智能溫控等,來提高農產品的產量和質量,甚至縮短種植週期。這就是農業數字化的必然,企業數字化也是一樣,是提高生產力的必然手段。 當然,還有一點,就是最近幾年最大的黑天鵝事件——新冠疫情。嚴格來說,疫情並不是企業數字化轉型主要原因,但絕對可以稱得上是催化劑。 根據麥肯錫的數據,新冠疫情,讓全球數字化進程整整提前了7年。 疫情給世界帶來很多不確定性,舉個簡單的例子,疫情造成很多人不太愛出門了,這就造成了很多線下的場景,沒有足夠的流量了,此時此刻,衆多老闆們終於發現了數字化的好處。 知名家居定製品牌“索菲亞”,通過佈局數字化營銷,實現從客戶到店瞭解、離店考慮、達成購買、後續維護的全過程線索跟蹤,在疫情嚴峻的2020年依然實現15%的年營收增長。這個數字對於一個行業的巨頭來說,即使沒有疫情,也算是一個很棒的成績了,何況還是在疫情爆發的那一年。這就是數字化的力量。 可以說,對於各行各業來說,“數字化轉型”已經不是一道選擇題,而是一道應用題。 但在數字化火熱的背後,我們其實也該看到很多企業的數字化轉型是失敗的,甚至有企業因爲數字化轉型的投入過大,削弱了自己的實力,失去了市場機會,走向了沒落甚至死亡。 所以說,數字化對於企業來說,是機遇,也是挑戰。 作爲一家非數字原生的企業,華爲這個“超級巨無霸”努力了二十餘年,完美的完成了數字化轉型。用華爲雲副總裁、華爲雲首席數字化轉型官蘇立清的話來說,就是“實現從過去的‘人拉肩扛’到現在的線下、線上高效協同,爲業務創造了很大的價值。” 舉個例子,我們可以從這個例子中,窺探一下數字化轉型帶給華爲的巨大效益。華爲的供應鏈服務變革,把供應鏈流程的共性部分,抽取成爲共享平臺,進行集中化管理以獲得降低成本優勢,把數字化平臺標準化,將集成供應鏈流程擴展到全球,經過三年時間,華爲供應鏈的及時齊套到貨率從管理變革之初的20%提升到85%,供應鏈處理效率提升了35%,這也使得華爲躋身爲信息通信行業全球範圍內供應鏈運作效率最高的企業之一。 此外,華爲的IFS(互聯網金融服務)變革,也支撐了華爲從全球化規模增長向全球化有效增長的轉型。 華爲CFO在解讀2014年年報時指出,管理變革給華爲帶來的收益佔整體收益的72%。 任正非在總結管理變革和數字化轉型的成果時說,華爲經過二十來年的持續努力,取得了顯著的成效,基本上建立起一個集中統一的管理平臺和較完整的流程體系,支撐了華爲進入了全球行業領先的行列。 這些都在展示着數字化帶給華爲的巨大收益。 數字化轉型是一個非常宏大的課題,但是不管業務如何變,數據的治理、統一的數據底座,絕對是核心中的核心。 華爲的變革指導委員會也指出:數字化轉型要堅持業務和技術的雙輪驅動,而連接雙輪的“軸”就是數據。只有建立統一、清潔、智能的數據底座,才能支撐公司不斷發展的新業務,支撐各個區域市場的差異化需求,實現“數據實時可視、海量業務自動、算法支撐決策”,實現“萬物互聯的智能世界”。 數據也是這本書的主要內容,跟數字化轉型相關的所有崗位,不管是市場、運營、產品、開發,還是管理者,都應該來看看這本書,只有理解了數據,才能理解到數字化轉型的本質。
本書從非數字原生企業的數字化轉型挑戰入手,系統地介紹了華爲的數據治理體系、信息架構建設、數據底座構建、數據服務實踐以及未來數據發展的思考。
看了這麼多書,對這本書的點評是相對比較糾結的,可以說非常好,也可以說還是不夠好。 從華爲的視角,這本書是非常好的,高屋建瓴的講述了華爲數據管理的現狀和多年積累下來的方法論,讓人看到了數據管理需要綜合考慮的方方面面以及做成後的樣子,可以說打響了華爲在數據管理上的品牌,爲華爲雲的對外輸出佔據了影響力的制高點。 說說不好的地方,這本書可以說華爲全面描述了一棟摩天大樓的樣子,但對於如何從平地蓋出這麼一棟樓,有哪些蓋樓的最佳實踐以及需要避免的坑,講的太少,也缺少具體例子來讓讀者更深刻的理解和認知這個蓋樓的過程。 這種情況帶來的結果是,對於有着多年數據管理從業經歷的人來說,本書內容新東西不多,更像是一份數據管理諮詢報告(其實對於銀行、運營商這些有着10多年數據管理的企業來說,內部都有這些報告和規範,只是沒有寫成書往外宣傳,因爲企業定位不同),而對於行業新人來說即使瞭解了書裏的方方面面,但還是不知道怎麼做到,會有種“大道理都懂但還是過不好這一生的感覺”。 所以,推薦大家快速閱讀,瞭解數據管理的整體框架和大原則,但不要花太多時間去扣裏面的具體規範和實現細節,因爲每家的情況不同,蓋出來的房子可能差不多,但蓋房子過程中遇到的困難以及要採取的對策是不一樣的,而後者在書裏幾乎沒說。
感覺學會了很多數據治理領域的專業術語,贊 推薦紙質書,太多架構圖了,就是可惜流程規範實際案例太少,主要是還是學習概念。 雲的分析涉及太多流程與業務系統,主數據建設就存在很多治理難題,像產品、客戶、人員等。要每塊系統都清楚確實很難,管理對象、過程、規則都需要數字化纔可能實現自動化,但是自己有人走在前面努力。數據底座與自助分析工具的持續完善才是解決不斷增長需求的根本之路。 最大感悟: 1,數據治理要獲得成功需要公司層面達成共識,特別是戰略層面的共識 2,需要專人治理,需要制定各種流程規範,需要專人推動,更重要,明確數據owner,有人對結果最終負責。 3,數據入湖,集成調用都需要專業人員參與,保障統一出口,統一規則,元數據管理是一門科學,不僅是技術元數據,像表與字段的管理,還有業務元數據,包括資產目錄,owner跟數據密級等,另外還有操作元數據,調動頻次、訪問記錄等 4,需要有耐心,數據治理非一年之功,舊的問題解決了,還會有新的問題 5,有專業的數據架構師參與,同時要懂業務 ,大量的數據測試、數據質量衡量都需要進一步自動化 新的一年,任重道遠,繼續努力[呲牙]
這本書覆蓋面很廣,但是介紹比較淺,適合速度一遍,搭建起框架認知
寫的大部分是正常人能推理出來的,沒有具體的幹活,還沒到方法論的高度
沒有經歷過大型數據需求考驗的,估計不太能看得懂。 也許你能看懂各種數據標籤的意思,但你可能不懂數據如何運用、如何交互、如何創造價值。 內容看懂了,不能應用,也是知其然不知其所以然。 小企業能做到,數據精準,可調用、可決策;數據清潔,可檢索、可分析,減少數據糾錯的成本就很不錯了。 數據源能做到,需求人要啥給啥,而不是別人要啥你還贈送一堆垃圾數據。 數據清潔過程也是成本,需求人來清潔數據挺影響人的心情。 你本是池塘裏的一條魚,當你偶然進入到浩瀚的大海時,你可能會失去方向。
如無意外,華爲的數據治理實踐和制度, 會成爲行業標杆甚至參考框架。目前(2021)中國標準2035的規劃中還缺少這一領域的頂層設計,已有的標準體系中:人工智能,智能製造,智能網聯汽車等都是行業支柱型的,而數據治理是可能成爲基礎型,同時也是對各領域影響最廣泛的標準體系。 工業基礎和設計軟件上能對外輸出產品的,無一不是在該技術領域數字化轉型做得成功的企業。