w3sun的文章

6年前（2018-09-16） 2382浏览 0评论

背景 最近在逐步接手公司JStorm实时计算部分的Mesos集群管理，公司的实时计算引擎目前以Alibaba JStorm为主，资源管理部分依托于Mesos+Marathon+Docker，这种部署方式在集群扩容和管理方面是非常方便的，而且通过不同角...

6年前（2018-08-29） 2471浏览 0评论

前言 随着Spark在数据处理领域越来越火，应用范围也不断扩大。相应的Source和Sink支持也越来越多，因为项目中需要从Redis中读取数据并进行操作，所以需要一种优雅的方式来操作Redis。一番搜索以后发现，除了自定义Source以外还可以通过...

7年前（2018-07-11） 5447浏览 0评论

问题背景 最近在做实时流计算，Coding过程中需要对写入到Redis中的数据进行Dump，经过综合考量决定采用Spark Core进行数据操作，并将结果数据Dump到HDFS上。Spark程序操作HDFS的工具类中，手动获取了FileSystem，...

7年前（2018-06-15） 1143浏览 0评论

背景 公司计算基础设施除了YARN+Spark Streaming之外还配备了Mesos+Marathon+Docker+JStorm/Storm，大部分流式计算任务都是基于JStorm框架。开始总结常用运维操作之前首先普及下Mesos和Marath...

7年前（2018-06-13） 2562浏览 0评论

最近在研究Metrics在分布式程序中的打点统计，源码下载下来后有个doc文件夹，对其中文件进行编译时提示： localhost:docs w3sun$ make Please use `make <target>' where <...

7年前（2018-05-26） 1019浏览 0评论

开发经验总结 1.JStorm spout中nextTuple和ack/fail运行在不同的线程中， 从而鼓励用户在nextTuple里面执行block的操作。 Storm中nextTuple和ack/fail在同一个线程中，不允许nextTuple...

7年前（2018-05-20） 1242浏览 0评论

task列表“task is dead”错误 有几个原因可能导致出现这个错误： task心跳超时导致nimbus主动kill这个task所在的worker，公司的JStorm集群基于Mesos+Marathon+Docker部署，大部分情况下work...

7年前（2018-05-04） 963浏览 0评论

Grouping方式介绍 fieldsGrouping 类似SQL中的Group By保证相同Key的数据会发送到下游相同的task，其原理是对某个或几个字段做Hash然后用Hash结果求模得出目标TaskId； globalGrouping Tar...

7年前（2018-04-27） 1065浏览 0评论

JStorm程序本地调试 JStorm提供了两种运行模式：本地模式和分布式模式。本地模式针对开发调试JStorm Topologies非常有用。接下来将介绍在本机不安装JStorm环境的情况下开发、调试JStorm程序。 模拟JStorm本地集群 单...

7年前（2018-04-23） 4091浏览 0评论

Homebrew Homebrew简介 Homebrew是一款适用于Mac OS或Linux的软件包管理器，用以简化Mac OS或Linux系统上的软件安装过程。中文主页地址：https://brew.sh/index_zh-cn，Github地址：...

7年前（2018-04-19） 1108浏览 0评论

Alibaba JStorm集群部署 部署JStorm集群主要分为2个步骤，首先部署JStorm引擎然后再部署JStorm UI。集群部署目前支持如下三种模式： Standalone，JStorm集群单独部署不依赖外部系统，比如Yarn或Docker...

7年前（2018-04-14） 1005浏览 0评论

Alibaba JStorm简介 JStorm是一个由Alibaba开源的企业级流式计算引擎，通过Java重写了Apache Storm模型所以重命名为JStorm。相对Apache Storm而言JStorm做了许多改进，其性能是Apache St...