Kylin 2.0.0高级设置

2018年1月23日 1.31k 次阅读 0 条评论 0 人点赞

重写Cube级别kylin.properties文件的默认配置

在conf/kylin.properties中有很多参数,这些参数控制/影响着Kylin的行为;大多数配置参数是全局的,其中一些参数和安全(security)或作业(job)相关,一些参数和Cube相关。这些和Cube相关的参数可以在Cube级别进行自定义,这使得Kylin配置起来更加灵活。在Cube向导“Configuration Overwrites”步骤中可以通过GUI来进行相关配置的更改,如下屏幕截图所示:

这里举两个例子:

  • kylin.cube.algorithm: 定义了作业引擎(job engine)所选择的Cubing算法,默认值为“auto”,代表引擎(engine)将通过对数据进行采样来动态选择算法(“layer”或“inmem”),你如果对Kylin和其处理的数据/集群(data/cluster)比较了解则可以直接设置你的首选算法。
  • kylin.storage.hbase.region-cut-gb: 定义了创建HBase表时region的大小,每个region默认大小为5(GB)。 对于一些小型或中型Cube来说,5(GB)可能太大了,可以为其设置一个较小的值以便生成更多的region从而获得更好的查询性能。

重写Cube级别Hadoop作业的默认配置

conf/kylin_job_conf.xml和conf/kylin_job_conf_inmem.xml 管理着Hadoop作业的默认配置。如果有需要对Cube自定义配置,可以用上述类似方式实现,但需要添加一个前缀“kylin.engine.mr.config-override”。 这些配置在提交作业时将被解析出来并应用到作业(job)中。以下是两个例子:

  • 如果希望一个Cube作业可以从Yarn获取更多的内存资源,可以进行如下配置:

kylin.engine.mr.config-override.mapreduce.map.java.opts=-Xmx7g

kylin.engine.mr.config-override.mapreduce.map.memory.mb=8192

  • 如果希望Cube作业可以进入Yarn中不同的资源队列,可以进行如下配置:

kylin.engine.mr.config-override.mapreduce.job.queuename=myQueue (“myQueue” 只是举例, 请更改为生产环境中实际队列名称)

重写Cube级别Hive作业的默认配置

 

 

过往不恋、当下不杂、未来不迎

文章评论(0)