最新消息:天气越来越冷,记得加一件厚衣裳

文章归档

e

e

3年前(2021-06-15) 679浏览 0评论

转载请注明:雪后西塘 » e

d

d

3年前(2021-06-10) 637浏览 0评论

转载请注明:雪后西塘 » d

Mesos+Marathon+Docker+JStorm运维

Mesos+Marathon+Docker+JStorm运维

6年前(2018-06-15) 724浏览 0评论

背景 公司计算基础设施除了YARN+Spark Streaming之外还配备了Mesos+Marathon+Docker+JStorm/Storm,大部分流式计算任务都是基于JStorm框架。开始总结常用运维操作之前首先普及下Mesos和Marath...

JStorm运维开发与性能优化

JStorm运维开发与性能优化

6年前(2018-05-26) 576浏览 0评论

开发经验总结 1.JStorm spout中nextTuple和ack/fail运行在不同的线程中, 从而鼓励用户在nextTuple里面执行block的操作。 Storm中nextTuple和ack/fail在同一个线程中,不允许nextTuple...

JStorm常见问题汇总

JStorm常见问题汇总

6年前(2018-05-20) 824浏览 0评论

task列表“task is dead”错误 有几个原因可能导致出现这个错误: task心跳超时导致nimbus主动kill这个task所在的worker,公司的JStorm集群基于Mesos+Marathon+Docker部署,大部分情况下work...

JStorm编程进阶

JStorm编程进阶

6年前(2018-05-04) 581浏览 0评论

Grouping方式介绍 fieldsGrouping 类似SQL中的Group By保证相同Key的数据会发送到下游相同的task,其原理是对某个或几个字段做Hash然后用Hash结果求模得出目标TaskId; globalGrouping Tar...

JStorm编程指南

JStorm编程指南

6年前(2018-04-27) 607浏览 0评论

JStorm程序本地调试 JStorm提供了两种运行模式:本地模式和分布式模式。本地模式针对开发调试JStorm Topologies非常有用。接下来将介绍在本机不安装JStorm环境的情况下开发、调试JStorm程序。 模拟JStorm本地集群 单...

JStorm集群搭建与应用入门

JStorm集群搭建与应用入门

6年前(2018-04-19) 634浏览 0评论

Alibaba JStorm集群部署 部署JStorm集群主要分为2个步骤,首先部署JStorm引擎然后再部署JStorm UI。集群部署目前支持如下三种模式: Standalone,JStorm集群单独部署不依赖外部系统,比如Yarn或Docker...

JStorm流式计算框架

JStorm流式计算框架

6年前(2018-04-14) 633浏览 0评论

Alibaba JStorm简介 JStorm是一个由Alibaba开源的企业级流式计算引擎,通过Java重写了Apache Storm模型所以重命名为JStorm。相对Apache Storm而言JStorm做了许多改进,其性能是Apache St...

dos2unix将dos文件转换为unix格式

dos2unix将dos文件转换为unix格式

11年前(2013-02-19) 1653浏览 0评论

背景 ARM AT91SAM9263EK毕设项目终于做完了,同时也到了要告别大学生活最后一站的时候了,看着板子上闪烁的指示灯不免回忆起很多很多的事情。顺便清理下实验室的电脑方便留给师弟师妹用。编译和开发日志是通过脚本来清理: #!/usr/bin/b...

C语言实现CGI交互程序

C语言实现CGI交互程序

12年前(2012-04-29) 1710浏览 0评论

CGI概念 通用网关接口(CommonGatewayInterface/CGI)是一个WEB服务器主机提供信息服务的标准接口,通过提供这样的一个标准接口,WEB服务器能执行应用程序并将它们的输出,如文字、图像、声音等传送给一个WEB浏览器。一般来说,...