用户指定Hadoop版本部署Spark 2.4.7

Spark官网提供spark-2.4.7-bin-without-hadoop.tgz、spark-2.4.7-bin-hadoop2.(6|7).tgz和spark-2.4.7.tgz (源代码)三种类型的压缩包下载，第二种是基于Hadoop 2.6/7的预先编译版，需要与本机安装的Hadoop版…

Spark访问Aliyun OSS

阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999%（12个9），服务可用性（或业务连续性）不低于99.995%。 OSS具有与平台无关的RESTful API接口，您可以在任何应…

Kafka可视化客户端工具Kafka Tool

简介 Kafka Tool是一个用于管理和使用Apache Kafka®集群的GUI应用程序。 Kafka Tool提供了一个较为直观的UI可让用户快速查看Kafka集群中的对象以及存储在topic中的消息，提供了一些专门面向开发人员和管理员的功能，主要特性包括： 快速查看所有Kafka集群信息，包…

Flink IDEA中执行的WebUI

Flink程序在Debug的过程中为了方便看到代码执行详细和相关指标，支持ExecutionEnvironment创建带有UI的LocalEnvironment： [crayon-6289912d0d899859266178/] 但是程序在IDEA真正执行起来以后如果打开http://127.0.0…

Spark Driver与Executor端添加调试信息

由于Spark应用程序本身运行在JVM上运行，因此--verbose和--verbose:class选项都是可用的。--verbose会在输出设备上显示Java虚拟机运行的相关信息和Spark配置的详细信息，——verbose:class选项显示Driver和Executor加载的类。这些调试选项可…

加载更多