Spark

4年前（2021-07-01） 1812浏览 0评论

转载请注明：雪后西塘 » b

4年前（2021-01-26） 2104浏览 0评论

转载请注明：雪后西塘 » Spark读取大文件避免切块与分区

4年前（2020-11-20） 1391浏览 0评论

背景 Spark官网提供spark-2.4.7-bin-without-hadoop.tgz、spark-2.4.7-bin-hadoop2.(6|7).tgz和spark-2.4.7.tgz (源代码)三种类型的压缩包下载，第二种是基于Hadoop...

5年前（2020-07-10） 2033浏览 0评论

转载请注明：雪后西塘 » Spark追加指定文件名文件到HDFS已有目录

5年前（2020-07-09） 4552浏览 0评论

OSS简介 阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999%（12个9），服务可用性（或业务连续性）不低于99.995%。 O...

6年前（2019-04-10） 1602浏览 0评论

前言 由于Spark应用程序本身运行在JVM上运行，因此–verbose和–verbose:class选项都是可用的。–verbose会在输出设备上显示Java虚拟机运行的相关信息和Spark配置的详细信息，——v...

6年前（2019-03-18） 4215浏览 0评论

前言         Apache Spark是一个开源的分布式计算框架，最初是由加州大学柏克莱分校AMPLab所开发。正如其首页（spark.apache.org）描述的一样：Lightning-fast unified analytics eng...

6年前（2019-03-03） 3231浏览 0评论

前言 日志是应用软件中不可缺少的部分，Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在Apache网站：https://logging.apache.org/log4j/2.x/可以免费下载到Log4j最新版本的软件包...

7年前（2018-08-29） 2734浏览 0评论

前言 随着Spark在数据处理领域越来越火，应用范围也不断扩大。相应的Source和Sink支持也越来越多，因为项目中需要从Redis中读取数据并进行操作，所以需要一种优雅的方式来操作Redis。一番搜索以后发现，除了自定义Source以外还可以通过...

7年前（2018-07-11） 5687浏览 0评论

问题背景 最近在做实时流计算，Coding过程中需要对写入到Redis中的数据进行Dump，经过综合考量决定采用Spark Core进行数据操作，并将结果数据Dump到HDFS上。Spark程序操作HDFS的工具类中，手动获取了FileSystem，...

7年前（2018-02-03） 1603浏览 0评论

转载请注明：雪后西塘 » Spark