背景
开始前不得不提一下，Cloudera在2021年向普通用户关闭了http://archive.cloudera.com/cdh5(6)/cdh/5(6)的下载权限还是挺可惜的，依赖下载地址继续开放也算是一件好事吧。
公司大数据计算/存储集群迁移到新机房后使用的CDH版本升级到了5.16.2，内部的实时计算平台、机器学习平台、资源管理平台等依赖的Hadoop版本都需要升级，比较建议通过Cloudera官方仓库进行一些依赖包的更新，其他依赖的jar包可以通过阿里云、华为云或者其他境内加速仓库进行下载从而避免从Maven中央仓库下载时那令人抓耳挠腮的速度。
设置Cloudera官方依赖仓库
1.pom.xml中添加Cloudera仓库依赖
|
1 2 3 4 5 6 |
<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories> |
2.setting.xml设置国内华为云仓库加速依赖下载
|
1 2 3 4 5 |
<mirror> <id>huaweicloud</id> <mirrorOf>*,!cloudera</mirrorOf> <url>https://repo.huaweicloud.com/repository/maven/</url> </mirror> |
设置完毕后，除了CDH依赖会通过Cloudera仓库进行下载，其他依赖则会通过华为云进行加速。
© 著作权归作者所有
文章评论（0）