5年前（2019-04-19） 3860浏览 0评论

Flink程序在Debug的过程中为了方便看到代码执行详细和相关指标，支持ExecutionEnvironment创建带有UI的LocalEnvironment： ExecutionEnvironment environmentWithWebUI =...

5年前（2019-04-10） 882浏览 0评论

前言 由于Spark应用程序本身运行在JVM上运行，因此–verbose和–verbose:class选项都是可用的。–verbose会在输出设备上显示Java虚拟机运行的相关信息和Spark配置的详细信息，——v...

5年前（2019-04-01） 1707浏览 0评论

前言 VPS（Virtual Private Server 虚拟专用服务器）技术，将一台服务器分割成多个虚拟专享服务器的优质服务。作为一名开发人员经常查Google是不可避免的，毕竟其他引擎不太好用，由于早年Google被Block了，因此我们需要跨...

5年前（2019-03-24） 4912浏览 0评论

前言 目前Push小组推送文章时使用的Storm、Hadoop和HBase等基础设施都是由其小组自己维护，连续两周周末都出现了实时计算集群崩溃的情况，个别机器分配到Storm Worker后会出现无法连接其他机器的提示。考虑到由于计算资源紧张，其St...

5年前（2019-03-22） 4738浏览 0评论

前言 公司望京机房把CDH从5.12升级到了6.0.1，但是在附属组件升级的过程中其他组件都顺利升级，但是Hive和HBase升级出现了一些问题，本文针对Hive出现的问题进行一个回顾。 Metastore validate Hive在升级后需要对M...

5年前（2019-03-18） 3414浏览 0评论

前言         Apache Spark是一个开源的分布式计算框架，最初是由加州大学柏克莱分校AMPLab所开发。正如其首页（spark.apache.org）描述的一样：Lightning-fast unified analytics eng...

5年前（2019-03-05） 1327浏览 0评论

分享经常下载电子书的几个网站，有些网站属于综合类下载站网站或者虽然是综合类但是偏向于某个方向太多不太好区分，所以只是一个大概分类。从以下网址中大家可以下载到PDF、ePub、Mobi等格式电子书，同时也包含了视频、文库、学术（各种期刊、论文、学报等）...

5年前（2019-03-03） 2519浏览 0评论

前言 日志是应用软件中不可缺少的部分，Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在Apache网站：https://logging.apache.org/log4j/2.x/可以免费下载到Log4j最新版本的软件包...

5年前（2019-03-02） 4568浏览 0评论

前言 在实时数仓方面除了直接将数据写入Druid，Kafka等相关的消息队列以外，Flink还支持将数据写出到HDFS上并以Parquet格式进行存储，本案例简单地介绍了整个过程的实现，为后续实时数仓或者其他业务线提供参考。 依赖 除了Flink所依...

5年前（2019-02-22） 3504浏览 0评论

资源简介 近年来，流处理变得越来越流行。作为高度创新的开源流处理器，Flink拥有诸多优势，包括容错性、高吞吐、低延迟，以及同时支持流处理和批处理的能力。本书分为6章，侧重于介绍Flink的核心设计理念、功能和用途，内容涉及事件时间和处理时间、窗口和...

5年前（2019-02-15） 6394浏览 0评论

艺术与音乐 Drawspace — 如果你想学习绘画，或者提高自己的绘画技能，就来Drawspace吧。 Justin Guitar — 超过800节免费的吉他课程，有自己的app，还有电子书、DVD等实用内容。 Dave Conservatoire...

5年前（2019-02-01） 1433浏览 0评论

资源简介 Druid 作为一款开源的实时大数据分析软件，最近几年快速风靡全球互联网公司，特别是对于海量数据和实时性要求高的场景，包括广告数据分析、用户行为分析、数据统计分析、运维监控分析等，在腾讯、阿里、优酷、小米等公司都有大量成功应用的案例。本书的...