最新消息:天气越来越冷,记得加一件厚衣裳

2019年03月的内容

kernel: XFS (sdj1): xfs_log_force: error -5 returned
Linux

kernel: XFS (sdj1): xfs_log_force: error -5 returned

5年前(2019-03-24) 4973浏览 0评论

前言 目前Push小组推送文章时使用的Storm、Hadoop和HBase等基础设施都是由其小组自己维护,连续两周周末都出现了实时计算集群崩溃的情况,个别机器分配到Storm Worker后会出现无法连接其他机器的提示。考虑到由于计算资源紧张,其St...

Spark On Yarn Cluster任务提交流程分析
Spark

Spark On Yarn Cluster任务提交流程分析

5年前(2019-03-18) 3437浏览 0评论

前言         Apache Spark是一个开源的分布式计算框架,最初是由加州大学柏克莱分校AMPLab所开发。正如其首页(spark.apache.org)描述的一样:Lightning-fast unified analytics eng...

电子书下载网站汇总
分享发现

电子书下载网站汇总

5年前(2019-03-05) 1353浏览 0评论

分享经常下载电子书的几个网站,有些网站属于综合类下载站网站或者虽然是综合类但是偏向于某个方向太多不太好区分,所以只是一个大概分类。从以下网址中大家可以下载到PDF、ePub、Mobi等格式电子书,同时也包含了视频、文库、学术(各种期刊、论文、学报等)...

Spark中log4j配置方法
Spark

Spark中log4j配置方法

5年前(2019-03-03) 2549浏览 0评论

前言 日志是应用软件中不可缺少的部分,Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在Apache网站:https://logging.apache.org/log4j/2.x/可以免费下载到Log4j最新版本的软件包...

Flink落盘Parquet文件
Flink

Flink落盘Parquet文件

5年前(2019-03-02) 4591浏览 0评论

前言 在实时数仓方面除了直接将数据写入Druid,Kafka等相关的消息队列以外,Flink还支持将数据写出到HDFS上并以Parquet格式进行存储,本案例简单地介绍了整个过程的实现,为后续实时数仓或者其他业务线提供参考。 依赖 除了Flink所依...