Flink IDEA中执行的WebUI

Flink程序在Debug的过程中为了方便看到代码执行详细和相关指标,支持ExecutionEnvironment创建带有UI的LocalEnvironment: [crayon-647be89bbb122656213800/] 但是程序在IDEA真正执行起来以后如果打开http://127.0.0…

Flink落盘Parquet文件

在实时数仓方面除了直接将数据写入Druid,Kafka等相关的消息队列以外,Flink还支持将数据写出到HDFS上并以Parquet格式进行存储,本案例简单地介绍了整个过程的实现,为后续实时数仓或者其他业务线提供参考。 除了Flink所依赖的常规Jar包以外,还需要提供以下依赖: [crayon-6…

[电子书]Flink基础教程|Introduction to Apache Flink

近年来,流处理变得越来越流行。作为高度创新的开源流处理器,Flink拥有诸多优势,包括容错性、高吞吐、低延迟,以及同时支持流处理和批处理的能力。本书分为6章,侧重于介绍Flink的核心设计理念、功能和用途,内容涉及事件时间和处理时间、窗口和水印机制、检查点机制、性能测评,以及Flink如何实现批处理…

Apache Flink Forward China – 2018

2018年12月20日 中国•北京•国家会议中心 http://t.cn/EUsQs9s 分会场1:https://yq.aliyun.com/live/703 分会场2:https://yq.aliyun.com/live/702 分会场3:https://yq.aliyun.com/live/7…

Flink中KafkaConnector常用设置

Flink中如果使用Apache Kafka需要注意下connector的版本,因为从Kafka0.9/0.10开始部分参数发生了较大变化。以开启自动提交偏移量为例,Apache Kafka 0.8.2之前的参数设置项为,从Kafka 0.9.0.0版本开始变更为。 此外,Flink Kafka C…