
[奧]維克托·邁爾-舍恩伯格 [英]肯尼思·庫克耶
"《大數據時代》是國外大數據系統研究的先河之作,本書作者維克托·邁爾·舍恩伯格被譽爲“大數據時代的預言家”,擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷,早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。維克托·爾耶·舍恩伯格在本書中前瞻性地指出,大數據帶來的信息風暴正在變革我們的生活、工作和思維,大數據開啓了一次重大的時代轉型,並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。"
AI#14:;近期選擇讀一些有關邏輯,AI及詩學書籍像並非偶然。本書內容及出版年代是乎像有點過時,但是同意本書譯者介紹,它是該領域中一本具有特殊意義的作品。因爲它首先想到,並且從邏輯思維領域提出,爲什麼大數據對於邏輯思維領域不僅帶來革命性突破,大數據也不僅僅是數據大,它的核心就是預測,它像人類生活中的第三隻眼,它還帶來一些邏輯思維領域傳統概念上革命。儘管本書譯者不認同作者之有關的觀點,例如,大數據講究不是因果關係,而是相關關係。應該補充道,這裏相關關係不是線性關係而是像多元統計模式下的關係。其實細心想,二者觀點都有道理。只是如果能夠換一個角度或者層次看同樣問題,就都不難理解?舉一個統計學經典例子,當講身高與體重的關係時,在線性關係條件下,它可能有統計意義有顯著關係,但是如果再將上面關心放在多元統計分析條件之下,這種線性條件下之因果關係統計意義下,相關表現圖形爲零型。 另外,畢竟我們在邏輯思維領域的認識,早已經像從“革命的現實主義加上革命的浪漫主義”不以人們意志爲轉移改良到:“革命的現實主義+革命的浪漫主義+革命的數據主義“之三結合模式。從人文主義角度來看,就像是:“感性+理性+信息(Logos”)。從哲學角度來看,已經發展到能夠從“唯物+唯心+信息”三個維度來分析與發展理念。其實此並不難理解,例如,生命物質中遺產密碼,它即不屬於“唯物”,也不是“唯心”滴,而是徹頭徹尾“信息”的。簡言之,從過去簡單“二分法”過渡到現在“三分法”,這就像是人類文明進步的必然。只是人不常問或者反省:心思意念是否常能夠得到心意更新,跟上時代步伐之發展?其實,向四度思維模式的發展趨勢也會是必然,儘管數學上已經證明11個維度空間的存在。 如前所敘,對於二者看法不一之另外一種可能詮釋就是,對於其中邏輯思維模式轉換認知重點聚焦不同。因爲對於邏輯思維模式的應用除了有傳統形式邏輯之歸納演繹外,其模式表達方式也從描述性(qualitative )向量化 (quantitative)發展。在朝氣蓬勃AI發展領域,各種深度學習或者機器學習模式層出不窮,各種新花樣也方興未艾。在東方和西方詩論近年研究發展也引人注目,因此小白童鞋大膽試問:特別是西方詩學之歷史大發展後,有邏輯思維領域大發展,而有豐富底蘊東方詩學是否在現代大數據,現代數理邏輯及AI領域是否可以爲全新邏輯思維模式領域提供一批新思路。新思路才能提供全方位新大格局,它令人嚮往。期待讀本書後,再讀下一本介紹關於量化思維模式之收藏好書後再來學習分享有關泡泡。 大數據對於AI的貢獻之一就是加深對於“複雜性”認識。數學家 Horgan 曾統計過,複雜性的定義至少有 45 種,目前則不下 50 種。有報道,複雜性“總體可以分爲客觀複雜度和認知複雜度大類,前者是物理或本體意義的複雜,例如熵複雜度,無法通過認知進行化簡,後者指隨着人類認知提升、掌握規律後就能變得簡單的複雜。在此基礎上,複雜度則可以劃分爲信息類、熵類、描述長度類、深度類、複雜性類、多樣性類、維數類、綜合類(隱喻)等幾大類”。從人文主義角度來看,除了上面提及三個維度之外及“人與鼠標間”競爭外,是否重新反思對於“靈性”維度的重審?或者說能夠或者願意重新考慮,像“眼見不 爲實”之類,例如“柴米油鹽”之上的思維領域?或者說,在“眼睛未曾經可見,耳朵未曾聽見,人心也未曾想到的”領域的一個禮物? 有意思的有,本書提到:大數據關心核心不是“爲 什麼”而是“是 什麼”;在“牛津大學通識讀本:數學”一書導論中,談數學本質時也有相同說法。現代生物信息學(bioinformatics)所關注本質上也同樣如此。顯然,通過去探求“是什麼”而不是“爲什麼”之相關關係,特別追隨其邏輯循環過程,幫助我們更好地瞭解了這個大世界。它難道不像一字之差,統領三軍?奇怪嗎?其實,它不新鮮。研究西方思想歷史中,有一個著名例子。在公元589年,因爲在其拉丁文一個字之詮釋,帶來思想領域及社會劇變,它影響世界一直到如今。它既像是莎士比亞名句“To be or not to be “範例,它是否更像大數據在現代思想歷史穿越劇中的一個插曲嗎? 簡言之,如果收集大數據方面書不多,它可能是進入“新秩”之時,能夠有效像洗腦式接受或者構建“大數據”經典,並且還應該是通俗易懂經典入門五星好書!
如今,一個大規模生產、分享和應用數據的時代正在開啓。 發掘數據價值、征服數據海洋的“動力”就是雲計算。互聯網時代,尤其是社交網絡、電子商務與移動通信把人類社會帶入了一個以“PB”(1024TB)爲單位的結構與非結構數據信息的新時代。 以雲計算爲基礎的信息存儲、分享和挖掘手段,可以便宜、有效地將這些大量、高速、多變化的終端數據存儲下來,並隨時進行分析與計算。大數據與雲計算是一個問題的兩面:一個是問題,一個是解決問題的方法。通過雲計算對大數據進行分析、預測,會使得決策更爲精準,釋放出更多數據的隱藏價值。數據,這個21世紀人類探索的新邊疆,正在被雲計算發現、征服。 數據正成爲巨大的經濟資產,成爲新世紀的礦產與石油,將帶來全新的創業方向、商業模式和投資機會。 “大數據”發展的障礙,在於數據的“流動性”和“可獲取性”。 各界應該首先開始嘗試公開數據、方式與方法。如同工業革命要開放物質交易、流通一樣,開放、流通的數據是時代趨勢的要求。大數據將逐漸成爲現代社會基礎設施的重要部分,就像公路、鐵路、港口、水電和通信網絡一樣不可或缺。但就其價值特性而言,大數據卻和這些物理化的基礎設施不同,不會因爲人們的使用而折舊和貶值。 大數據之所以可能成爲一個“時代”,在很大程度上是因爲這是一個可以由社會各界廣泛參與,八面出擊,處處結果的社會運動。 世界的本質就是數據。整個世界會被割裂爲大數據時代、小數據時代和無數據時代。因此,大數據時代的經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展,進而影響人類的價值體系、知識體系和生活方式。 信息社會所帶來的好處是顯而易見的:每個人口袋裏都揣有一部手機,每臺辦公桌上都放有一臺電腦,每間辦公室內都擁有一個大型局域網。但是,信息本身的用處卻並沒有如此引人注目。半個世紀以來,隨着計算機技術全面融入社會生活,信息爆炸已經積累到了一個開始引發變革的程度。它不僅使世界充斥着比以往更多的信息,而且其增長速度也在加快。信息總量的變化還導致了信息形態的變化——量變引發了質變。最先經歷信息爆炸的學科,如天文學和基因學,創造出了“大數據”這個概念。如今,這個概念幾乎應用到了所有人類致力於發展的領域中。 大數據是人們獲得新的認知、創造新的價值的源泉;大數據還是改變市場、組織機構,以及政府與公民關係的方法。 如今,數據已經成爲了一種商業資本,一項重要的經濟投入,可以創造新的經濟利益。事實上,一旦思維轉變過來,數據就能被巧妙地用來激發新產品和新型服務。數據的奧妙只爲謙遜、願意聆聽且掌握了聆聽手段的人所知。 數字網絡已經成爲人類文明的新紀元,學習工作生活的思維變革刻不容緩。我們“努力在可以應用、可以拓展的地方,應用它、拓展它;在不能應用、不能拓展的地方,就停下來。”這應該是所有人面對一個新領域或新概念時應有的態度。與朋友們一起學習分享網絡財商智慧助人助己,共同踏入好客時代開啓全新的生活……
很有啓發的一本書👍其實應該給四個半星,可惜沒這個選項。給出了一些實用的商業建議,是一本一般人我都不捨得推薦的好書! 這本書把大數據思維總結得很詳細,也給了不少具體的例子,很多我以前沒聽過,或者沒聽過這麼深入的剖析和解讀,爲我提供了一個嶄新的視角。最後也有一部分篇幅討論大數據的侷限性,比較完整,只是我對最後這部分還期待看到更完整更深入的分析。 美中不足的是:有些細節還是欠缺準確性,至少我有不同的看法。雖然承認了因果關係的重要性,但也許是經濟學者看待計算機學者的偏見,還是覺得作者過於強調相關關係和數據本身,低估了因果關係。最後部分討論大數據立法雖然提出了不少有用的見地,包括算法師的提法,但還是流於表面,沒看到我期望的答案。不過也許這是該領域的發展階段就是如此,只能期望以後有更多實質性的進展。 兩個問題我有比較大的不同意見: 1. 作者用尼采的“上帝已死”來類比大數據提出的“理論已死”,在我看來是低估了理論和因果關係的重要性,而片面強調了大數據和相關關係帶來的好處。 2. 作者認爲大數據的價值最大部分是數據本身,我卻覺得數據的應用技能纔是關鍵。
大數據注重事情的相關性而非因果性,通過大數據,人們可以預測出很多事情,但 我們能收集和處理的數據只是世界上極其微小的一部分。這些信息不過是現實的投影——柏拉圖洞穴上的陰影罷了。因爲我們無法獲得完美的信息,所以做出的預測本身就不可靠。但這也不代表預測就一定是錯的,只是永遠不能做到完善。 大數據提供的不是最終答案,只是參考答案,爲我們提供暫時的幫助,以便等待更好的方法和答案出現。這也提醒我們在使用這個工具的時候,應當懷有謙恭之心,銘記人性之本。尤其在對待大數據所帶來的個人隱私權方面,大數據的使用者更應當按照國家法律有關規定,堅決杜絕個人隱私權的隨意暴露,讓大數據爲人們帶來便利的同時,個人權益也能得到很好的保護!
萬物互聯靠智能感應落地生根,大數據重建人們認識世界的基礎,而人工智能與大數據和智能感應結合,將形成一種全新的能力,這種能力能夠滲透到社會生活的每一個角落,影響和改變世界的進程。“大數據時代”,這是一個被信息包圍的時代,這是“數字蝶變”時代,在這樣的時代下,一切的發展超乎我們的想象,爲我們提供了許多便利,但同時也摻雜着隱患。 大數據時代下數據到底有什麼樣的潛在價值?那些數據的核心是什麼?那些數據又存在哪些風險呢......這些是大數據時代下數據的發展延伸出來的。 大變革——生活、工作與思維 不再是隨機樣本數據,不再是追求精確性,不再是尋找因果關係。一切發生了改變,開始了“樣本=總體”龐大的數據資源使得各個領域開始了量化進程。 大數據的價值體現在哪? 大數據的科學價值和社會價值。一方面,對大數據的掌握程度可以轉化爲經濟價值的來源。另一方面,大數據已經撼動了世界的方方面面,從商業科技到醫療、政府、教育、經濟、人文以及社會的其他各個領域。 大數據是人們獲得新的認知、創造新的價值的源泉;大數據還是改變市場、組織機構,以及政府與公民關係的方法。 大數據發展的核心動力來源於人類測量、記錄和分析世界的渴望。 擁抱混雜,尋找窗口 大數據經過三個方面的轉變: 第一個轉變就是,在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機採樣。 第二個改變就是,研究數據如此之多,以至於我們不再熱衷於追求精確度。 第三個轉變我們不再熱衷於尋找因果關係。確定“是什麼”而不再是“爲什麼” 執迷於精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用於傳統數據庫的。如果不接受混亂,剩下95%的非結構化數據都無法被利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶。 我們能夠得到一個事物更完整的概念,我們就能接受模糊和不確定的存在。就像印象派的畫風一樣,近看畫中的每一筆都感覺是混亂的,但是退後一步你就會發現這是一幅偉大的作品,因爲你退後一步的時候就能看出畫作的整體思路了。 價值——取之不盡,用之不竭 數據就像一個神奇的鑽石礦,當它的首要價值被髮掘後仍能不斷給予。它的真實價值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,而絕大部分都隱藏在表面之下。 所謂大數據思維,是指一種意識,認爲公開的數據一旦處理得當就能爲千百萬人急需解決的問題提供答案。 爲什麼企業會把數據看的那麼重?那是他們公司數據的核心,從中可以分析出不一樣的內容,大部分的信息價值來自於這,即潛在價值。 大數據同時也給我們帶來了巨大的風險。它使得目前用以保護隱私的法律手段和核心技術失去了效果。而今天,即使是最無害的數據,只要被數據收集器採集到足夠的量,也會暴露出個人身份。匿名化或是單純隱藏已不再適用。出臺的相關隱私政策不過是無規則的馬奇諾防線。 當世界由探求因果關係變成挖掘相關關係,我們怎樣才能既不損壞建立在因果推理基礎之上的社會繁榮和人類前行的基石,又取得實際的進步呢? 大數據的不利影響並不是大數據本身的缺陷,而是我們濫用大數據預測所導致的結果。 在這個利用數據做出決定的世界裏,人類存在的目的是什麼?難道是爲了運用直覺和違背事實?
🧠大數據不是技術問題,而是思維方式的重構。 1️⃣ 從樣本分析到全量分析 傳統是“採樣→分析→推斷”,而大數據的邏輯是“全體數據→直接揭示趨勢”。 👉 不再抽樣,而是掌握全貌。 2️⃣ 從精確性轉向相關性 數據不再一定要求“精確值”,而是追求趨勢、模式與概率。 👉 追求有用而非完美,模糊但強大。 3️⃣ 從因果邏輯轉向相關判斷 我們不再執着於“爲什麼”(因果),而是接受“是什麼”(相關性)。 👉 數據自發“發聲”,我們只需聽懂。 > 🧠 關鍵詞:放棄控制、接受不確定性、讓數據說話 🖊️大數據時代的商業變革 > 從“關注技術”轉向“關注信息”。 ✅ 大數據重新定義商業流程: ❤️ 所有行爲可被記錄、量化; ❤️數據成爲“資產”與“資源”; ❤️預測性替代經驗判斷; ❤️創新發生在數據與需求之間的縫隙。 ✅ 三個重要轉變: 1. 信息成爲企業核心競爭力; 2. 擁有數據的企業站上“價值鏈頂端”; 3. 企業決策由“拍腦袋”變爲“看數據”。 > 誰擁有數據,誰就擁有未來。 🖊️大數據的雙刃劍效應 ✅ 提高效率,精準預測未來 | ⚠️ 隱私暴露,數據濫用 ✅ 降低成本,優化資源分配 | ⚠️ 被監控,被操縱 ✅ 推動商業與技術創新 | ⚠️ 權力集中,信息壟斷 > 大數據是“皇帝的新裝”,我們的一舉一動都暴露無遺,透明是力量也是風險。 🖊️底層邏輯總結 + 金句提煉 🔍 💖數據≠信息,但數據是通往信息的鑰匙 💖相關性+預測性 > 因果性+解釋性 💖商業競爭力=數據獲取能力 × 數據理解能力 × 數據利用能力; 💖大數據是新時代的“基礎設施”,如同電力或公路一樣重要。 ✨ 大數據的價值不在於掌握技術,而在於改變思維。 💖“不是要解釋世界,而是用數據預測世界。” 💖“在大數據面前,我們每個人都是透明的。” 💖“未來的商業領袖,不是最會決策的人,而是最懂數據的人。” 💖 “數據不是死物,它們會說話,關鍵是你是否能聽懂。”
大數據時代-我們難以遁逃的科技洪流 在生活中被各種數據信息充斥、智能製造概念婦孺皆知的今天,大數據這個詞彙已經不陌生了,但從一個新興的名詞,到一個熱門的技術,再滲透爲一個世界經濟發展格局爲之改變的時代代名詞,作爲普通人,與大數據有着怎樣千絲萬縷的關係,你想去一個地方旅遊,立馬收到當地的酒店優惠信息,打開購物平臺,你看到的商品剛好是你想要的.....你真的認爲這是巧合麼?當然,這只是大數據時代信息的冰山一角而已,在各種真真假假、以大數據爲噱頭的行業競爭、生活嚮導和紛雜繁亂的信息流面前,個人如何正確認知“大數據”這個隱形的怪物,並與之友好相處,做一個認知它而不畏懼、利用它而不被左右甚至完善引導它而不被牽制的信息時代的新人類個體,是時候系統地瞭解一下它了。 本書是國外大數據系統研究的先河之作,作者維克托·邁爾·舍恩伯格被譽爲“大數據時代的預言家”,擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷,早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。他前瞻性地指出“大數據帶來的信息風暴正在變革我們的生活、工作和思維,大數據開啓了一次重大的時代轉型,受它的影響,在一段時期內,經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展,進而影響人類的價值體系、知識體系和生活方式。” 作爲一本關於大數據的暢銷書,雖然談的是前沿信息技術,但作者只從認知觀念、思維模式和由之引發的商業變革談起,並不涉及具體的數據分析、模型研究等專業知識,不能作爲大數據從業者開發代碼的助手,但卻無疑是一塊普通人瞭解大數據世界的敲門磚,而且本書語言上生動詼諧,舉例也豐富詳實,加之翻譯給力,閱讀起來絲滑順口,毫不生澀牽強。 本書主要從思維變革、商業變革和管理變革三個大的方面作了介紹,深入淺出,在難以理解的信息隘口,列舉了大量真實的案例以幫助讀者消化。 一.大數據時代的思維變革。 思維轉變是新的行動的前瞻,作者用了大量的理論分析和實例,幫助讀者從對傳統的”小數據“分析時代認知轉變到“大數據”時代,特別闡明瞭大數據時代的三個明顯特徵,一是數據採集量的變化,不是隨機樣本,而是所有數據,二是不再苛求數據的精確性,而是混雜性,允許海量數據裏的失真個例存在,三是不再過分強調數據之間的因果關係,而是分析研究數據之間的相關關係。 二.大數據時代的商業變革。 主要介紹大數據成爲行業、企業之間的競爭利器的時候,所帶來的商業行爲和模式的變革。強調一切數據皆可量化,且在大數據背景下,擁有原始數據並不代表擁有了財富,真正具有價值的是對海量數據的再分析再利用,以及對分析利用過程的不斷創新,最後,介紹了在大數據時代,原始數據供應商、數據價值挖掘技術服務商和大數據思維引導者(個人理解相當於大數據時代的商業顧問)三足鼎立的新格局。 三.大數據時代的管理變革。 思維的轉變、商業模式的革新勢必帶來管理上的變革,主要包括個人隱私保護、個人動因對陣預測分析、大數據算法師的崛起和反數據壟斷大亨的出現等四個方面對大數據時代的管理模式進行了預測和闡釋。 在系統講述的過程中,作者也毫不避諱地分析了大數據發展帶來的風險,如讓數據主宰一切的隱憂,獲取數據的不合法性和數據二次使用缺失監管等等,使得普通民衆的隱私數據被窺探竊取,從這個層面講,大數據作爲一項被公衆認可和接受的技術任重而道遠。作者在提出問題的同時,也前瞻性地提出如何應對這些風險,如我們需要設立一個新的隱私保護模式,一種着重於數據使用者爲其行爲承擔責任的模式,而不是將重心放在收集數據之初取得個人同意上。 當然,讀完本書,我們並不能一味地悲觀和擔憂,因爲大數據終歸是產生於人類之手的資產,它的崛起讓一些人失去了崗位,卻也滋生了新的崗位需求,如書中提到的外部算法師,內部算法師、第三方公正機構等等。而且,在有效防範弊端的基礎上,我們更應該看到大數據的分析預判帶來的正面效應,如對於一些災難性的事物,人們可以通過大數據的精準預警提前採取補救措施,避免問題發生並改善結局,如我們能在期末考試之前早早發現有退步趨勢的學生;我們能檢測到微小的癌變,趕在疾病完全爆發前根治;我們能看到青春期意外妊娠的可能性,或是預測到某種犯罪生涯,預判困擾世界好幾年的新冠疫情等等,然後盡力干預,避免出現可能的悲劇結局。 歸根結底,大數據並不是一個充斥着運算法則和機器的冰冷世界,人類仍然是大數據的主導者,所以,人類的弱點、錯覺和錯誤依然主導性地決定着大數據時代的質量和走向,這也提醒我們在使用這個工具的時候,應當懷有謙恭之心,銘記人性之本。 另外,作者站在普通人的視角,告知人們面對席捲而來的大數據時代,不必躲避,也不用恐慌,因爲人們總是受到現有測量和認知工具的侷限,我們明天使用的工具很可能比今天的強大數倍甚至上千倍,就像當我們拿着輕巧的智能手機在網絡裏暢遊的時候,誰會想到那個佔地170平方米,重達30噸,耗電功率約150千瓦的第一臺電子管計算機ENIAC只不過誕生於70多年前,所以,要不了多久,當我們回看當今的大數據世界時,會覺得它不過如此。 最後不得不提的是本書的嚴謹,光參考文獻就100多處,我也相信它所列舉的大量的實例都是真實的,儘管涉及太多行業和企業,因爲這是一本介紹大數據時代的書,它首先得遵從大數據時代的信息規則吧。
這本書毫不猶豫給五星好評。大數據怎麼理解?就是指海量的信息。信息又是什麼?文字、圖片、音頻、視頻等都是信息的常規表現形式,信息當然還有其他形式。 1,關於引言。 引言部分值得拜讀。引言概括了本書的主要內容,讀引言可以讓讀者抓住重點內容。 引言:一場生活、工作與思維的大變革。 大數據,變革公共衛生(谷歌搜索預測流感); 大數據,變革商業(Farecast預測機票價格); 大數據,變革思維(大數據時代,數據已經成爲一種商業資本,可以用來激發新產品和新服務,大數據可以改變市場、組織機構、以及政府與公民的關係,創造新價值,創造經濟利益;大數據時代,社會可以減弱對因果關係的渴求,僅需要關注相關關係,只需要知道”是什麼”,不需要知道爲什麼,因果關係只是一種特殊的相關關係); 大數據,開啓重大的時代轉型(大數據以及撼動了世界的方方面面,從商業、科技、醫療、教育、到經濟、人文等各個領域,大數據的科學價值和社會價值不可限量); 預測,大數據的核心(分析海量的數據來預測事件的可能性,比如識別潛在的犯罪分子); 大數據的精髓(改變了我們分析信息的模式,改變了我們理解和組建社會的方法:A,大數據不是從數據中抽樣分析,而是分析所有的數據,或者說是”樣本”=”總體”、B,大數據允許出現不準確的數據,錯誤的數據也可以變得有價值、C,由因果關係向相關關係轉化時會釋放出潛在的價值); 大數據,大挑戰(如何保護個人隱私?大數據預測出錯責任誰來承擔?如何防止數據壟斷獨裁?)。 引言總結:大數據正在改變我們的生活以及理解世界的方式。尋找原因是一種現代社會的一神論,大數據推翻了這個論斷。但我們又陷入了一個歷史的困境,那就是我們活在一個”上帝已死”的時代。那麼,從經驗中得來的與證據相矛盾的直覺、信念和迷惘應該充當什麼角色呢?當世界由探求因果關係變成挖掘相關關係,我們怎樣才能既不損壞建立在因果推理基礎之上的社會繁榮和人類前行的基石,又取得實際的進步呢?本書意在解釋我們身在何處,我們從何而來,並且提供當下亟需的指導,以應對眼前的利益和危險。 2,正文精彩摘要。 2.1,大數據時代思維變革(A,首先,要分析與某事物相關的所有數據,而不是依靠分析少量的數據樣本。B,其次,我們樂於接受數據的紛繁複雜,而不再追求精確性。C,最後,我們的思想發生了轉變,不再探求難以捉摸的因果關係,轉而關注事物的相關關係,因果關係只是特殊的相關關係。); 2.2,擁抱數據的不完美。當我們的視野侷限在我們可以分析和能夠確定的數據上時,我們對世界的整體理解就可能產生偏差和錯誤。大數據幫助我們進一步接近事實的真相。(寬容錯誤會給我們帶來更多價值(谷歌的翻譯之所以更好並不是因爲它擁有一個更好的算法機制。和微軟的班科和布里爾一樣,這是因爲谷歌翻譯增加了很多各種各樣的數據。從谷歌的例子來看,它之所以能比IBM的Candide系統多利用成千上萬的數據,是因爲它接受了有錯誤的數據。”略有瑕疵的答案不會傷了商家的胃口”。但是對於有些事情,快速獲得一個大概的輪廓和發展脈絡,就要比嚴格的精確性要重要得多。只要我們能夠得到一個事物更完整的概念,我們就能接受模糊和不確定的存在。就像印象派的畫風一樣,近看畫中的每一筆都感覺是混亂的,但是退後一步你就會發現這是一幅偉大的作品,因爲你退後一步的時候就能看出畫作的整體思路了。相比依賴於小數據和精確性的時代,大數據因爲更強調數據的完整性和混雜性,幫助我們進一步接近事實的真相。“部分”和“確切”的吸引力是可以理解的。但是,當我們的視野侷限在我們可以分析和能夠確定的數據上時,我們對世界的整體理解就可能產生偏差和錯誤。不僅失去了去盡力收集一切數據的動力,也失去了從各個不同角度來觀察事物的權利。所以,侷限於狹隘的小數據中,我們可以自豪於對精確性的追求,但是就算我們可以分析得到細節中的細節,也依然會錯過事物的全貌。大數據要求我們有所改變,我們必須能夠接受混亂和不確定性。精確性似乎一直是我們生活的支撐,就像我們常說的“釘是釘,鉚是鉚”。但認爲每個問題只有一個答案的想法是站不住腳的,不管我們承不承認。一旦我們承認了這個事實甚至擁護這個事實的話,我們離真相就又近了一步。這些思想上的重大轉變導致了第三個變革,這個變革有望顛覆很多傳統觀念。這些傳統觀念更加基本,往往被認爲是社會建立的根基:找到一切事情發生背後的原因。然而其實很多時候,尋找數據間的關聯並利用這種關聯就足夠了。); 2.3,大數據價值鏈的3大構成(根據所提供價值的不同來源,分別出現了三種大數據公司。這三種來源是指:A,數據本身、技能與思維。第一種是基於數據本身的公司。這些公司擁有大量數據或者至少可以收集到大量數據,卻不一定有從數據中提取價值或者用數據催生創新思想的技能。最好的例子就是Twitter,它擁有海量數據這一點是毫無疑問的,但是它的數據都通過兩個獨立的公司授權給別人使用。B,第二種是基於技能的公司。它們通常是諮詢公司、技術供應商或者分析公司。它們掌握了專業技能但並不一定擁有數據或提出數據創新性用途的才能。比方說,沃爾瑪和Pop-Tarts這兩個零售商就是藉助天睿公司(Teradata)的分析來獲得營銷點子,天睿就是一家大數據分析公司。C,第三種是基於思維的公司。皮特·華登(PeteWarden),Jetpac的聯合創始人,就是通過想法獲得價值的一個例子。Jetpac通過用戶分享到網上的旅行照片來爲人們推薦下次旅行的目的地。對於某些公司來說,數據和技能並不是成功的關鍵。讓這些公司脫穎而出的是其創始人和員工的創新思維,他們有怎樣挖掘數據的新價值的獨特想法。到目前爲止,前兩種因素一直備受關注,因爲在現今世界,技能依然欠缺,而數據則非常之多。近年來,一種新的職業出現了,那就是“數據科學家”。數據科學家是統計學家、軟件程序員、圖形設計師與作家的結合體。與通過顯微鏡發現事物不同,數據科學家通過探尋數據庫來得到新的發現。全球知名諮詢管理公司麥肯錫,就曾極端地預測數據科學家是當今和未來稀缺的資源。如今的數據科學家們也喜歡用這個預測來提升自己的地位和工資水平。); 2.4,大數據應用案例(知道“是什麼”就已經足夠,不必非要弄清楚“爲什麼”。大數據的相關性將人們指向了比探討因果關係更有前景的領域。這些相關性能讓我們節省機票錢和預測流感爆發,並知道在一個資源有限的世界中應該檢查哪些沙井蓋和過度擁擠的建築物。它可以幫助健康保險公司不做體檢就能決定保險覆蓋面,並降低提醒病人服藥的成本。通過大數據的相關性,語言可以得到翻譯,汽車可以在預測的基礎上自行駕駛。沃爾瑪可以瞭解颶風前應在門店準備哪種口味的蛋撻。); 2.5,大數據的負面影響(大數據同時也給我們帶來了巨大的風險。它使得目前用以保護隱私的法律手段和核心技術失去了效果。無論大數據如何威脅到隱私保護,最讓人們頭疼的都是行爲傾向問題。大數據預測的準確性越來越高,它能夠預測行爲的發生,在人們犯錯之前,提前懲處。因爲預測的結果幾乎不可反駁,人們也就無法爲自己開脫。但這種基於預測得出的懲罰不僅違背自由意志的原則,同時也否定了人們會突然改變選擇的可能性。); 2.6,真理就是沒有真理,人類是大數據的主人。我的意思是,人類可以無限接近真理,也只能無限接近。(“可解釋性”正如在人工智能界所稱的一樣,對於不僅想知道“是什麼”更想知道“爲什麼”的人類來說非常重要。大數據並不是一個充斥着算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數據爲我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的未來。釋放大數據的洞察力能夠預見未來,提升效率,這將是大數據的價值和未來。我們的世界觀正受到相關性優勢的挑戰。擁有知識曾意味着掌握過去,大數據可以幫助我們預測未來。讓數據說話,當數據說話時會發生什麼。大數據是一種資源,也是一種工具。它告知信息但不解釋信息。它指導人們去理解,但有時也會引起誤解,這取決於是否被正確使用。大數據的力量是那麼耀眼,我們必須避免被它的光芒誘惑,並善於發現它固有的瑕疵。人們總是受到現有測量和認知工具的侷限。我們明天使用的工具很可能比今天的強大數倍甚至上千倍,我們現在所擁有的知識較之明天可能就顯得微不足道了。我們能收集和處理的數據只是世界上極其微小的一部分。這些信息不過是現實的投影——柏拉圖洞穴上的陰影罷了。因爲我們無法獲得完美的信息,所以做出的預測本身就不可靠。但這也不代表預測就一定是錯的,只是永遠不能做到完善。這也並未否定大數據的判斷,而只是讓大數據發揮出了應有的作用。大數據提供的不是最終答案,只是參考答案,爲我們提供暫時的幫助,以便等待更好的方法和答案出現。這也提醒我們在使用這個工具的時候,應當懷有謙恭之心,銘記人性之本。) 最後推薦看看浙江大學的《大數據時代》的思維導圖 http://www.cad.zju.edu.cn/home/vagblog/wp-content/uploads/2014/06/%E8%AF%BB%E4%B9%A6%E5%88%86%E4%BA%AB-HXX.001.jpg
“數據”(data)這個詞在拉丁文裏是“已知”的意思,也可以理解爲“事實”。如今,數據代表着對某件事物的描述,數據可以記錄、分析和重組它。而“數據化”——是指通過計量和記錄把一種現象轉變爲可製表分析的量化形式過程,爲預測和計劃奠定了基礎。 幾個世紀以來,人們一直用分類法和索引法來儲存和檢索數據資源。但進入信息時代,人類存儲信息量的增長速度比世界經濟的增長速度快4倍,而計算機數據處理能力的增長速度則比世界經濟的增長速度快9倍。信息技術的極速發展讓時代信息過載。大數據信息技術系統便在此背影下應運而生。大數據信息技術系統是指通過對數據進行分析和加工得出相應結論來確定現在和預測未來的一種工具。 大數據使得通過數據分析獲得知識、商機和社會服務的能力向下轉移,讓更多的企業、機構或個體能夠享受大數據紅利,隨之而來的是存儲成本繼續暴跌而分析工具越來越先進,採集和存儲數據的數量和規模將爆發式地增長,使用數據的門檻降低直接導致數據的容錯率提高和成本的降低,以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,或深刻的洞見。 小數據時代執迷於精確性是信息缺乏時代和模擬時代的產物。而只有5%的數據是線性關係的結構化數據能適用於傳統數據庫,大數據時代則是接受混亂和不精確,對剩下的95%的非線性關係的非結構化數據進行數據處理和數據交叉複用。大數據時代的思維變革體現在三個方面:不是隨機抽樣而是全體數據,不是精確性而是混雜性,不是因果關係而是相關關係。 大數據強調“樣本=總體”即樣本數據趨近於總體(海量)數據,大數據讓我們不再期待精確性也無法實現精確性,而是擁抱混雜與不確定性。重視相關即追索是什麼,重視因果即追索爲什麼。大數據時代重視相關而非因果,通過數據分析明確是什麼、會發生什麼而捕捉現在以預測未來。 傳統的數據庫引擎要求數據高度精確和準確排列,傳統的關係數據庫是爲數據稀缺的時代設計的,所以能夠也需要仔細策劃。在那個時代,人們遇到的問題無比清晰,所以數據庫被設計用來有效地回答這些問題。相比依賴於小數據和精確性的時代,大數據因爲更強調數據的完整性和混雜性,數據庫設計是非關係型數據庫,不預設場域並處理海量數據,打破了傳統數據庫關於記錄和預設場域的成規,幫助我們進一步接近事實的真相。小數據是對部分的細節與精確的微觀追求,大數據是對整體的混亂與不確定性的宏觀把握。 大數據的核心是建立在相關關係分析法基礎上的預測,而相關關係是指量化兩個數據值之間的數理關係。大數據發展的核心動力則源自人類對世界進行測量、記錄和分析世界的渴望。大數據信息技術對海量數據的處理突破了每個人獲取信息數量的有限性和人腦對信息加工能力的有限性,大數據思維促進了社會向前發展的同時又嵌入到個體的思維裏,是一場廣泛而深遠的思想及思考方式的革新,萬事萬物數據化也讓人類能夠更深入瞭解世界本質即信息。
讀完這本書,有如下總結: 一、大數據思維是先行者,沒有思維,就談不上之後的其他關於大數據的一切行爲; 二、思維、技術、大數據,是大數據的三大框架,互爲支撐,又互相促進; 三、在充滿未知的時代,大數據給了我們一個很大的確定性來建立關聯度,讓這個社會的相關性建立起來,服務於商業經濟、政府管理、行爲預測等事項; 四、允許不完美的存在,因爲只有這樣才能真正體現出合理的、完美的、完善的價值是什麼! 五、個人或是集體需要從身邊的事情做起,事無鉅細地收集能收集到的所有數據,服務於自己或集體的需要; 六、不要小看身邊的任何細微的數據,因爲很有可能這會揭示某些事物的發展規律和運行規律; 七、大數據將會是後面發展的物聯網、雲計算、人工智能等技術的巨大數據支撐和技術支撐; 八、關注眼前,更要關注以後,因爲大數據今後將會以更加智能的方式告訴我們生活、工作的可預測性是什麼,在探索未知的道路上,我們一如既往地在努力着。 大數據,就在我們身邊,改變生活和工作方式,甚至改變思維方式,都會讓我們受益其中。 關於未來,你準備好了嗎?