Mesos+Marathon+Docker+JStorm运维

背景 公司计算基础设施除了YARN+Spark Streaming之外还配备了Mesos+Marathon+Docker+JStorm/Storm，大部分流式计算任务都是基于JStorm框架。开始总结常用运维操作之前首先普及下Mesos和Marathon的一些基本信息。 Mesos简介 Mesos是…

JStorm运维开发与性能优化

开发经验总结 1.JStorm spout中nextTuple和ack/fail运行在不同的线程中， 从而鼓励用户在nextTuple里面执行block的操作。 Storm中nextTuple和ack/fail在同一个线程中，不允许nextTuple/ack/fail执行任何block的操作否则就会…

JStorm常见问题汇总

task列表“task is dead”错误 有几个原因可能导致出现这个错误： task心跳超时导致nimbus主动kill这个task所在的worker，公司的JStorm集群基于Mesos+Marathon+Docker部署，大部分情况下worker在4分钟内未部署好（含docker网络配置问题…

JStorm编程进阶

Grouping方式介绍 fieldsGrouping 类似SQL中的Group By保证相同Key的数据会发送到下游相同的task，其原理是对某个或几个字段做Hash然后用Hash结果求模得出目标TaskId； globalGrouping Target Component的第一个Task； sh…

JStorm编程指南

JStorm程序本地调试 JStorm提供了两种运行模式：本地模式和分布式模式。本地模式针对开发调试JStorm Topologies非常有用。接下来将介绍在本机不安装JStorm环境的情况下开发、调试JStorm程序。 模拟JStorm本地集群 单机模式需要用到，可以用来模拟JStorm本地集群环…

JStorm集群搭建与应用入门

Alibaba JStorm集群部署 部署JStorm集群主要分为2个步骤，首先部署JStorm引擎然后再部署JStorm UI。集群部署目前支持如下三种模式： Standalone，JStorm集群单独部署不依赖外部系统，比如Yarn或Docker Swarm； Hadoop Yarn，该模式下J…

JStorm流式计算框架

Alibaba JStorm简介 JStorm是一个由Alibaba开源的企业级流式计算引擎，通过Java重写了Apache Storm模型所以重命名为JStorm。相对Apache Storm而言JStorm做了许多改进，其性能是Apache Storm的4倍并且可以自由地在成行模式或mini-b…

C语言实现CGI交互程序

通用网关接口（CommonGatewayInterface／CGI）是一个WEB服务器主机提供信息服务的标准接口，通过提供这样的一个标准接口，WEB服务器能执行应用程序并将它们的输出，如文字、图像、声音等传送给一个WEB浏览器。一般来说，CGI标准接口的功能就是在HTML文档与服务器应用程序之间传递…

加载更多