Failed to retrieve schema tables from Hive Metastore DB,Not supported

2019年3月22日 685 次阅读 0 条评论 0 人点赞

前言

公司望京机房把CDH从5.12升级到了6.0.1,但是在附属组件升级的过程中其他组件都顺利升级,但是Hive和HBase升级出现了一些问题,本文针对Hive出现的问题进行一个回顾。

Metastore validate

Hive在升级后需要对Metastore进行升级和验证,据Hadoop同学说在测试升级期间是没问题的,但是在真正线上环境升级的过程中却出现了问题,首先是在进行Metastore验证验证阶段,当点击:

时显示验证通不过,通过查看日志可以得到以下信息:

发现CDH社区里也有过类似的情形,应该问题是出在了JDBC驱动上,根据官网提示下载相应版本的MySQL驱动包:

完事以后在测试集群进行了验证重新进行验证,可以正常通过但是生产环境中虽然日志上已经没有报错,但是还是验证失败了,组里另外一个Hive用得比较深的同学此时吃饭回来了,据悉在CDH升级过程中由于一张Meta表非常大在进行更新的时候失败了,他又根据升级的执行记录对中断执行的SQL语句全部执行一遍,确保Metastore中表正确升级,此时再次进行验证就通过了。

 

参考文献

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.html#cmig_topic_5_5_3

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hive_schema_tool.html

标签:
最后编辑:2019年3月24日

过往不恋、当下不杂、未来不迎

文章评论(0)