跨集群提交CopyTable任务备份HBase表
3年前(2021-09-18) 1574浏览 0评论
背景 短期画像数据有一部分存储在HBase(Hadoop Cluster E)中,每天都需要备份[T-5,T]的数据。但是Azkaban执行机上的Hadoop环境和配置文件是为了在Cluster D上提交任务而配置的,和上述HBase隶属于不同的物理...
雪后西塘
3年前(2021-09-18) 1574浏览 0评论
背景 短期画像数据有一部分存储在HBase(Hadoop Cluster E)中,每天都需要备份[T-5,T]的数据。但是Azkaban执行机上的Hadoop环境和配置文件是为了在Cluster D上提交任务而配置的,和上述HBase隶属于不同的物理...
3年前(2021-09-16) 3150浏览 0评论
公司简介 深信服科技股份有限公司是一家专注于企业级网络安全、云计算、IT基础设施与物联网的产品和服务供应商,拥有深信服智安全、信服云和深信服新IT三大业务品牌,与子公司信锐技术,致力于承载各行业用户数字化转型过程中的基石性工作,从而让每个用户的数字化...
3年前(2021-09-15) 1848浏览 0评论
前言 Katacoda 是一个面向软件工程师的交互式学习和培训平台,提供浏览器中使用真实环境学习新技术的额能力,并且提供了许多免费的技术课程比如Docker、机器学习、网络、CI/CD、Serverless等,Katacoda有一个课程是可以免费体验...
3年前(2021-09-15) 2446浏览 0评论
背景 北京IDC托管价格越来越贵,公司决定将机房迁移到环京地区。最近在参与公司机房迁移工作,主要负责实时计算和用户画像两个方面。用户画像任务还是很多的,在收尾阶段发现一个隐藏很深的任务,git上已经找不到源代码了,正常运行的任务只有一个jar包。尝试...
3年前(2021-09-08) 1397浏览 0评论
背景 开始前不得不提一下,Cloudera在2021年向普通用户关闭了http://archive.cloudera.com/cdh5(6)/cdh/5(6)的下载权限还是挺可惜的,依赖下载地址继续开放也算是一件好事吧。 公司大数据计算/存储集群迁移...
3年前(2021-08-15) 1448浏览 0评论
背景 许多开源软件的文档和站点生成器都采用Jekyll作为首选,比如Apache基金会下的Hive、Spark、Calcite等开源项目都采用Jekyll构建官方站点。看源码的时候如果遇到一些问题而此时没有网络的情况下阅读源码中携带的markdown...
3年前(2021-07-15) 3073浏览 0评论
曾几何时卡巴斯基、安博士、百度等杀毒软件厂商通过浏览器安装一个插件就可以直接查杀本地磁盘的病毒或者后门,随着互联网的发展发现在线杀毒都退出了历史舞台。现在开发使用的Mac OS偶尔会从网上下载一些源码或者访问一些链接,但是又不想在本机或者虚拟机安装安...
3年前(2021-07-01) 1395浏览 0评论
转载请注明:雪后西塘 » b
3年前(2021-06-15) 1025浏览 0评论
转载请注明:雪后西塘 » e
4年前(2021-06-10) 826浏览 0评论
转载请注明:雪后西塘 » d
4年前(2021-06-01) 1719浏览 0评论
背景 人吧,有时候不折腾一下总是感觉少点什么,折腾吧就容易有意想不到的事情发生。本站使用的服务器操作系统为CentOS X.XX版本,最近有些忙没有对其进行维护和升级,为了服务器能稍微安全些今天早些时候情不自禁地手动执行了升级命令: [root@wo...
4年前(2021-02-23) 1655浏览 0评论
我是一个macOS Unix新用户,正在编写一个小的bash shell脚本。那么我应该如何使用curl通过命令行界面直接下载文件呢?如何在Linux或类Unix系统上使用cURL下载文件? 简介:cURL既是一个命令行工具也是一个静态链接库。人们可...