最新消息:天气越来越冷,记得加一件厚衣裳

Hadoop

一次Hadoop DistCp Java API跨集群数据备份异常问题排查

一次Hadoop DistCp Java API跨集群数据备份异常问题排查

1年前(2022-12-05) 1334浏览 0评论

背景 模型文件重要性不言而喻,除了权限控制以外定期备份也是一个必要的安全措施。公司在迁移机房前与模型训练相关的集群有两个,分别是位于同一个物理机房下的Hadoop Cluster A和Hadoop Cluster B,其中Cluster A作为算法专...

Maven设置Cloudera官方仓库

Maven设置Cloudera官方仓库

3年前(2021-09-08) 717浏览 0评论

背景 开始前不得不提一下,Cloudera在2021年向普通用户关闭了http://archive.cloudera.com/cdh5(6)/cdh/5(6)的下载权限还是挺可惜的,依赖下载地址继续开放也算是一件好事吧。 公司大数据计算/存储集群迁移...