w3sun

可以担当一些

Flink IDEA中执行的WebUI

Flink程序在Debug的过程中为了方便看到代码执行详细和相关指标,支持ExecutionEnvironment创建带有UI的LocalEnvironment: [crayon-5d0bfd30135a1591484385/] 但是程序在IDEA真正执行起来以后如果打开http://127.0.0…

VPS购买指南

VPS(Virtual Private Server 虚拟专用服务器)技术,将一台服务器分割成多个虚拟专享服务器的优质服务。作为一名开发人员经常查Google是不可避免的,毕竟其他引擎不太好用,由于早年Google被Block了,因此我们需要跨过这道阻碍。其实方法还是挺多的,只是使用第三方服务自主权…

kernel: XFS (sdj1): xfs_log_force: error -5 returned

目前Push小组推送文章时使用的Storm、Hadoop和HBase等基础设施都是由其小组自己维护,连续两周周末都出现了实时计算集群崩溃的情况,个别机器分配到Storm Worker后会出现无法连接其他机器的提示。考虑到由于计算资源紧张,其Storm集群由A和B两个DC服务器构成,而且Push小组的…

Failed to retrieve schema tables from Hive Metastore DB,Not supported

公司望京机房把CDH从5.12升级到了6.0.1,但是在附属组件升级的过程中其他组件都顺利升级,但是Hive和HBase升级出现了一些问题,本文针对Hive出现的问题进行一个回顾。 Hive在升级后需要对Metastore进行升级和验证,据Hadoop同学说在测试升级期间是没问题的,但是在真正线上环…

Spark On Yarn Cluster任务提交流程分析

        Apache Spark是一个开源的分布式计算框架,最初是由加州大学柏克莱分校AMPLab所开发。正如其首页(spark.apache.org)描述的一样:Lightning-fast unified analytics engine(快如闪电的统一分析引擎),目前已经在各大互联网公…

Spark Streaming中的Log4J

日志是应用软件中不可缺少的部分,Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在Apache网站:https://logging.apache.org/log4j/2.x/可以免费下载到Log4j最新版本的软件包和项目详细说明。