最新消息:天气越来越冷,记得加一件厚衣裳

Kylin存储空间清理

Kylin w3sun 2069浏览 0评论

Kylin版本

http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.2.0/apache-kylin-2.2.0-bin-hbase1x.tar.gz

存储空间清理

Kylin构建立方体(cube)的过程中会在HDFS上生成一些中间文件,此外,在清除/删除/合并立方体(cube)时一些不会再被查询到的HBase表或许也会残留在HBase中。Kylin虽然已经可以自动地执行一些垃圾收集工作,但是有可能尚未覆盖所有情况,维护人员可以定期执行脱机清理工作。

清理步骤:

  • 检查可以被清理的资源(本步骤只是检查并不会真正清理任何数据)
export KYLIN_HOME=/home/hdfs/apache-kylin-2.2.0
${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete false
  • 挑选1~2个资源并确认它们不再被引用, 然后添加“-delete true”选项来开始清理:
${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true

完成后,HDFS上的中间文件和HTable应该已经被删除了。

转载请注明:雪后西塘 » Kylin存储空间清理

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址