一次Hadoop DistCp Java API跨集群数据备份异常问题排查

背景 模型文件重要性不言而喻，除了权限控制以外定期备份也是一个必要的安全措施。公司在迁移机房前与模型训练相关的集群有两个，分别是位于同一个物理机房下的Hadoop Cluster A和Hadoop Cluster B，其中Cluster A作为算法专用集群存储Paddle、TF和图模型的模型文件，C…

Maven设置Cloudera官方仓库

背景 开始前不得不提一下，Cloudera在2021年向普通用户关闭了http://archive.cloudera.com/cdh5(6)/cdh/5(6)的下载权限还是挺可惜的，依赖下载地址继续开放也算是一件好事吧。 公司大数据计算/存储集群迁移到新机房后使用的CDH版本升级到了5.16.2，内…