最新消息:天气越来越冷,记得加一件厚衣裳

标签:Apache Spark

b
Spark

b

3年前(2021-07-01) 1340浏览 0评论

转载请注明:雪后西塘 » b

用户指定Hadoop版本部署Spark 2.4.7
Spark

用户指定Hadoop版本部署Spark 2.4.7

4年前(2020-11-20) 1092浏览 0评论

背景 Spark官网提供spark-2.4.7-bin-without-hadoop.tgz、spark-2.4.7-bin-hadoop2.(6|7).tgz和spark-2.4.7.tgz (源代码)三种类型的压缩包下载,第二种是基于Hadoop...

Spark访问Aliyun OSS
Spark

Spark访问Aliyun OSS

4年前(2020-07-09) 4055浏览 0评论

OSS简介 阿里云对象存储OSS(Object Storage Service)是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999%(12个9),服务可用性(或业务连续性)不低于99.995%。 O...

Spark Driver与Executor端添加调试信息
Spark

Spark Driver与Executor端添加调试信息

6年前(2019-04-10) 1209浏览 0评论

前言 由于Spark应用程序本身运行在JVM上运行,因此–verbose和–verbose:class选项都是可用的。–verbose会在输出设备上显示Java虚拟机运行的相关信息和Spark配置的详细信息,——v...

Spark On Yarn Cluster任务提交流程分析
Spark

Spark On Yarn Cluster任务提交流程分析

6年前(2019-03-18) 3658浏览 0评论

前言         Apache Spark是一个开源的分布式计算框架,最初是由加州大学柏克莱分校AMPLab所开发。正如其首页(spark.apache.org)描述的一样:Lightning-fast unified analytics eng...

Spark中log4j配置方法
Spark

Spark中log4j配置方法

6年前(2019-03-03) 2823浏览 0评论

前言 日志是应用软件中不可缺少的部分,Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在Apache网站:https://logging.apache.org/log4j/2.x/可以免费下载到Log4j最新版本的软件包...

Spark优雅操作Redis
Spark

Spark优雅操作Redis

6年前(2018-08-29) 2336浏览 0评论

前言 随着Spark在数据处理领域越来越火,应用范围也不断扩大。相应的Source和Sink支持也越来越多,因为项目中需要从Redis中读取数据并进行操作,所以需要一种优雅的方式来操作Redis。一番搜索以后发现,除了自定义Source以外还可以通过...

Spark
Spark

Spark

7年前(2018-02-03) 1193浏览 0评论

转载请注明:雪后西塘 » Spark