2019年03月的内容

5年前（2019-03-24） 4911浏览 0评论

前言 目前Push小组推送文章时使用的Storm、Hadoop和HBase等基础设施都是由其小组自己维护，连续两周周末都出现了实时计算集群崩溃的情况，个别机器分配到Storm Worker后会出现无法连接其他机器的提示。考虑到由于计算资源紧张，其St...

5年前（2019-03-22） 4735浏览 0评论

前言 公司望京机房把CDH从5.12升级到了6.0.1，但是在附属组件升级的过程中其他组件都顺利升级，但是Hive和HBase升级出现了一些问题，本文针对Hive出现的问题进行一个回顾。 Metastore validate Hive在升级后需要对M...

5年前（2019-03-18） 3410浏览 0评论

前言         Apache Spark是一个开源的分布式计算框架，最初是由加州大学柏克莱分校AMPLab所开发。正如其首页（spark.apache.org）描述的一样：Lightning-fast unified analytics eng...

5年前（2019-03-05） 1323浏览 0评论

分享经常下载电子书的几个网站，有些网站属于综合类下载站网站或者虽然是综合类但是偏向于某个方向太多不太好区分，所以只是一个大概分类。从以下网址中大家可以下载到PDF、ePub、Mobi等格式电子书，同时也包含了视频、文库、学术（各种期刊、论文、学报等）...

5年前（2019-03-03） 2517浏览 0评论

前言 日志是应用软件中不可缺少的部分，Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在Apache网站：https://logging.apache.org/log4j/2.x/可以免费下载到Log4j最新版本的软件包...

5年前（2019-03-02） 4564浏览 0评论

前言 在实时数仓方面除了直接将数据写入Druid，Kafka等相关的消息队列以外，Flink还支持将数据写出到HDFS上并以Parquet格式进行存储，本案例简单地介绍了整个过程的实现，为后续实时数仓或者其他业务线提供参考。 依赖 除了Flink所依...