Apache Kylin權威指南（第2版）

從大數據抽預計算一部分結果，本質上是對結果的管理，idea有點作用，但不是什麼新鮮的技術

剛看完第一版就出了第二版，還是添加了很多實用的內容和案例。推薦

一個比較基礎的Kylin系統架構和使用的介紹，核心點就是可以通過預計算來提升OLAP查詢的速度，並且圍繞預計算做了很多優化。目前也的確有不少企業在使用Kylin，而且也有商業化產品支持企業應用。

1. 本書內容緊扣熱點： Apache Kylin是大數據時代的寵兒，是業界目前實現了秒級別交互式大數據分析的開源技術，數倉OLAP霸主。 2. 內容全面，廣度和深度兼顧。不僅是國內關於Apache Kylin 的全面技術書，還融入了對於新特性和功能的講解。 3. 作者是Apache Kylin的創始團隊。 4. 實戰性強。本書從入門開始，深入淺出，包含衆多實際大數據分析案例，讓技術落地解決實際問題。 Apache Kylin 是由中國人主導的Apache項目，是Hadoop大數據平臺上的一個開源 OLAP 引擎，將大數據的查詢速度和併發性能提升百倍以上，爲超大規模數據集上的交互式大數據分析打開了大門。本書由 Apache Kylin 核心開發團隊編寫，系統地介紹了 Apache Kylin 安裝、入門、調優、可視化、運維管理、流式計算、Spark 構建、擴展開發、跟主流雲平臺的集成，以及經典案例等各個方面，是系統學習Apache Kylin的優秀材料。

作爲中國的開發團隊，寫出這樣的開源項目還是很讓人佩服的。 Kylin是Hadoop大數據平臺上的一個開源OLAP引擎，它採用多維立方體預計算技術，可以將大數據的SQL查詢速度提升到亞秒級別，爲超大規模數據集上的交互式大數據分析打開了大門。Kylin的使命就是超高速的大數據OLAP，也就是要讓大數據分析像使用數據庫一樣簡單迅速，用戶的查詢請求可以在秒內返回。 “預計算”，Kylin解決問題的關鍵 Kylin的初衷就是要解決千億條、萬億條記錄的秒級查詢問題，其中的關鍵就是要打破查詢時間隨着數據量成線性增長的這個規律。 仔細思考大數據OLAP，可以注意到兩個事實： 大數據查詢要的一般是統計結果，原始的記錄則不是必需的，或者訪問頻率和概率都極低； 聚合是按維度進行的，由於業務範圍和分析需求是有限的，有意義的維度聚合組合也是相對有限的，一般不會隨着數據的膨脹而增長。 基於以上兩點，我們可以得到一個新的思路--“預計算”：儘量多地預先計算聚合結果，在查詢時刻儘量使用預算的結果得到查詢結果，從而避免直接掃描可能無限增長的原始記錄。 舉例來說，如果查詢某一天銷量最高的商品，用傳統方法，需要先掃描所有的記錄，再找到當天的銷售記錄，然後按商品聚合銷售額，最後排序返回。假如當天有1億條交易，那麼查詢必須讀取並累計至少1億條記錄，且這個查詢速度會隨着將來銷量的增加而逐步下降。 而使用預計算的方法，則會實現按維度[日期, 商品]計算銷售額總和並存儲下來，在查詢時只需要找到當日銷售商品就可以直接排序返回了。 “預處理”，就是Kylin在“大規模並行處理”和“列式存儲”之外，提供給大數據分析的第三個關鍵技術。 Apache Kylin的工作原理 ApacheKylin的工作原理本質上是MOLAP（MultidimensionalOnlineAnalyticalProcessing）Cube，也就是多維立方體分析。這是數據分析中相當經典的理論，在關係數據庫年代就已經有了廣泛的應用。 維度（Dimension）和度量（Measure） 維度是觀察數據的角度。比如電商的銷售數據，可以從時間的維度來觀察，也可以進一步細化，從時間和地區的維度來觀察。 維度一般是一組離散的值，比如時間維度上的每一個獨立的日期，或者商品維度上的每一件獨立的商品。因此統計時可以把維度值相同的記錄聚合在一起，然後應用聚合函數做累加、平均、去重複計數等聚合計算。 度量就是被聚合的統計值，也是聚合運算的結果，它一般是連續的值如銷售額，抑或是銷售商品的總件數。 有了維度和度量，就有了根據維度和度量做預計算的Cube理論： 給定一個數據模型，我們可以對其上的所有維度進行組合。 對於N個維度來說，組合的所有可能性共有2的N次方種。 對於每一種維度的組合，將度量做聚合運算，然後將運算的結果保存爲一個物化視圖，稱爲Cuboid。 所有維度組合的Cuboid作爲一個整體，被稱爲Cube。 所以簡單來說，一個Cube就是許多按維度聚合的物化視圖的集合。 假定有一個電商的銷售數據集，其中維度包括時間（Time）、商品（Item）、地點（Location）和供應商（Supplier），度量爲銷售額（GMV）。那麼所有維度的組合就有2的4次方=16種。預計算也算是微創新吧[強][強]

這是一本經典書，從官方視角講述了kylin的基本用法，也描述了kylin的基本結構，以及如何擴展，挺好的一本書，值得閱讀

kylin深度用戶了，nice

從使用到優化再到以後發展規劃都介紹的很清晰。一本優秀的入門書籍。