未名企鹅极客 | Kylin Cube构建优化（下）

发表时间：2021-03-24 12:58作者：未名企鹅

上期极客，未名企鹅的数据专家阐释了我们对Kylin Cube构建优化的一些理解，我们今天来看看一些实例和优化后的结果如何。


Kylin Cube构建优化实例和结果

1. 实例（区域覆盖分析指标的Cube构建优化）

以终端通区域覆盖分析为例：


将基本的维度表与事实表model与cube构建完毕后，可利用下列方式对cube做剪枝优化。

1.1 拓展字段

指标中存在key-value字段的对应关系，比如终端的省编码与省名称、市编码与市名称等，这时如果将编码、名称都作为普通维度（normal column）将大幅提高构建复杂度，如使用衍生维度（derived column）又会降低查询性能，而将名称作为度量，使用extended column可避免以上问题。

1.2 聚合组-层级构建

将省、市、区，品牌、sku等层级维度放入该区域，降低cube组合复杂度。

1.3 聚合组-必要维度的选择

在覆盖分析指标中，有几个必要的聚合维度组，可能为省、市、区、类型等组合。
将层级维度显式的选出，可降低Cube中的组合复杂度，并且降低Cube的存储占用。
注意：Hierarchy与Mandatory很多情况是互斥的优化关系，比如省、市、区这样的固定关系，两种方式都可起到不错的优化效果，实际使用中需要按照场景按需选择。

1.4 过滤条件的优化

为了实现kylin自身的Filter Pushdown和Limit Pushdown等优化手段，需要避免等待数据集中返回Kylin后再筛选数据，这样数据吞吐量会很大，影响查询性能。优化方法是重写SQL语句，比如将join table所含的过滤条件移动到外侧。
select SALES.PART_DT, sum(KYLIN_SALES.PRICE)
from SALES
inner join (select ACCOUNT_ID, ACCOUNT_BUYER_LEVEL from ACCOUNT where ACCOUNT_COUNTRY = 'US'
) as TT
on SALES.BUYER_ID = TT.ACCOUNT_ID
group by SALES.PART_DT
正确的写法应该是：
select SALES.PART_DT, sum(SALES.PRICE)
from SALES
inner join ACCOUNT as TT on SALES.BUYER_ID = TT.ACCOUNT_ID
where TT.ACCOUNT_COUNTRY = 'US'
group by SALES.PART_DT
后台日志可以看到成功命中Filter Pushdown：


注：如果配置了聚合组，本例中ACCOUNT_COUNTRY作为过滤字段必须在聚合组内才可命中Filter Pushdown。

1.5 查询性能优化

Kylin的存储基于HBase，维度在HBase rowkey上的位置对性能至关重要。将过滤条件作为高优先级，根据区域覆盖需求，将所需过滤的时间字段提升为第一顺位，将明显提升查询性能。

另外，HBase是对Rowkey进行排序的，随机Rowkey将被分配到不同的region上，这样才能发挥出分布式数据库的性能优点。如果数据量级较大，这里我们适当增加指定的最小Region个数（默认个数为1），查询性能也会有明显的提高。

1.6 全局字典

当计算终端个数需做Count_Distinct操作，我们这里选择精确计算。

Cube的构建基于Segment分区，当增量构建时，一旦在多个Segment中做精确去重的计算，会因bitmap映射不一致导致计算结果有误，除非一个Segment能够覆盖全部数据，所以这里我们选择需计算的字段作为全局字典，避免此类问题。


2. 优化结果


经过以上优化，Cuboid的模型已经被剪枝优化。另外，在实际查询中，优化后Cube大小降低了30%左右，查询时间已经从优化前的4s左右降低到了0.3~0.8s，达到亚秒级响应。


欢迎CIO交流

关于Kylin Cube构建优化还有很多手段和技巧，如果您有经验想要分享，欢迎关注未名企鹅公众号，订阅极客栏目，或者点击文末左下角“阅读原文”给我们留言提出您的需求建议。

关于未名企鹅
     
未名企鹅以“连接健康”为使命，致力于提供生命健康领域的大数据产品和解决方案，帮助客户实现数据驱动的业务增长。

未名企鹅中的“未名”代表北大，寓意人文精神，生命健康领域正是体现人文关怀的产业；“企鹅”象征科技，未名企鹅的创始团队毕业于北大，技术力量来自腾讯，公司以未名企鹅命名是希望以人文情怀加上科技力量来推动生命科学行业数字化发展。

未名企鹅，数 · 智 · 未来

分享到：