Apache Kylin权威指南（第2版）

从大数据抽预计算一部分结果，本质上是对结果的管理，idea有点作用，但不是什么新鲜的技术

刚看完第一版就出了第二版，还是添加了很多实用的内容和案例。推荐

一个比较基础的Kylin系统架构和使用的介绍，核心点就是可以通过预计算来提升OLAP查询的速度，并且围绕预计算做了很多优化。目前也的确有不少企业在使用Kylin，而且也有商业化产品支持企业应用。

1. 本书内容紧扣热点： Apache Kylin是大数据时代的宠儿，是业界目前实现了秒级别交互式大数据分析的开源技术，数仓OLAP霸主。 2. 内容全面，广度和深度兼顾。不仅是国内关于Apache Kylin 的全面技术书，还融入了对于新特性和功能的讲解。 3. 作者是Apache Kylin的创始团队。 4. 实战性强。本书从入门开始，深入浅出，包含众多实际大数据分析案例，让技术落地解决实际问题。 Apache Kylin 是由中国人主导的Apache项目，是Hadoop大数据平台上的一个开源 OLAP 引擎，将大数据的查询速度和并发性能提升百倍以上，为超大规模数据集上的交互式大数据分析打开了大门。本书由 Apache Kylin 核心开发团队编写，系统地介绍了 Apache Kylin 安装、入门、调优、可视化、运维管理、流式计算、Spark 构建、扩展开发、跟主流云平台的集成，以及经典案例等各个方面，是系统学习Apache Kylin的优秀材料。

作为中国的开发团队，写出这样的开源项目还是很让人佩服的。 Kylin是Hadoop大数据平台上的一个开源OLAP引擎，它采用多维立方体预计算技术，可以将大数据的SQL查询速度提升到亚秒级别，为超大规模数据集上的交互式大数据分析打开了大门。Kylin的使命就是超高速的大数据OLAP，也就是要让大数据分析像使用数据库一样简单迅速，用户的查询请求可以在秒内返回。 “预计算”，Kylin解决问题的关键 Kylin的初衷就是要解决千亿条、万亿条记录的秒级查询问题，其中的关键就是要打破查询时间随着数据量成线性增长的这个规律。 仔细思考大数据OLAP，可以注意到两个事实： 大数据查询要的一般是统计结果，原始的记录则不是必需的，或者访问频率和概率都极低； 聚合是按维度进行的，由于业务范围和分析需求是有限的，有意义的维度聚合组合也是相对有限的，一般不会随着数据的膨胀而增长。 基于以上两点，我们可以得到一个新的思路--“预计算”：尽量多地预先计算聚合结果，在查询时刻尽量使用预算的结果得到查询结果，从而避免直接扫描可能无限增长的原始记录。 举例来说，如果查询某一天销量最高的商品，用传统方法，需要先扫描所有的记录，再找到当天的销售记录，然后按商品聚合销售额，最后排序返回。假如当天有1亿条交易，那么查询必须读取并累计至少1亿条记录，且这个查询速度会随着将来销量的增加而逐步下降。 而使用预计算的方法，则会实现按维度[日期, 商品]计算销售额总和并存储下来，在查询时只需要找到当日销售商品就可以直接排序返回了。 “预处理”，就是Kylin在“大规模并行处理”和“列式存储”之外，提供给大数据分析的第三个关键技术。 Apache Kylin的工作原理 ApacheKylin的工作原理本质上是MOLAP（MultidimensionalOnlineAnalyticalProcessing）Cube，也就是多维立方体分析。这是数据分析中相当经典的理论，在关系数据库年代就已经有了广泛的应用。 维度（Dimension）和度量（Measure） 维度是观察数据的角度。比如电商的销售数据，可以从时间的维度来观察，也可以进一步细化，从时间和地区的维度来观察。 维度一般是一组离散的值，比如时间维度上的每一个独立的日期，或者商品维度上的每一件独立的商品。因此统计时可以把维度值相同的记录聚合在一起，然后应用聚合函数做累加、平均、去重复计数等聚合计算。 度量就是被聚合的统计值，也是聚合运算的结果，它一般是连续的值如销售额，抑或是销售商品的总件数。 有了维度和度量，就有了根据维度和度量做预计算的Cube理论： 给定一个数据模型，我们可以对其上的所有维度进行组合。 对于N个维度来说，组合的所有可能性共有2的N次方种。 对于每一种维度的组合，将度量做聚合运算，然后将运算的结果保存为一个物化视图，称为Cuboid。 所有维度组合的Cuboid作为一个整体，被称为Cube。 所以简单来说，一个Cube就是许多按维度聚合的物化视图的集合。 假定有一个电商的销售数据集，其中维度包括时间（Time）、商品（Item）、地点（Location）和供应商（Supplier），度量为销售额（GMV）。那么所有维度的组合就有2的4次方=16种。预计算也算是微创新吧[强][强]

这是一本经典书，从官方视角讲述了kylin的基本用法，也描述了kylin的基本结构，以及如何扩展，挺好的一本书，值得阅读

kylin深度用户了，nice

从使用到优化再到以后发展规划都介绍的很清晰。一本优秀的入门书籍。