Zookeeper NetCat(三)

in ZooKeeper read (945)

NetCat nc:netcat 瑞士军刀,方便网络通信 模拟TCP,UDP网络通信 语法 服务端:nc -l port //指定监听的端口号 客户端:nc ip port //指定服务器的ip和监听端口号 传输文件 服务端:nc -l po...

Continue reading

Flink 原理与实现:Table & SQL API

in Flink read (1116)

Flink 已经拥有了强大的 DataStream/DataSet API,可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢? 首先 Table API 是一种关系型API,类 SQL 的API,用户可以像操作表一样地操作数据...

Continue reading

Flink 原理与实现:Session Window

in Flink read (951)

在上一篇文章:Window机制中,我们介绍了窗口的概念和底层实现,以及 Flink 一些内建的窗口,包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口:会话窗口(session window)。建议您在阅读完上一篇文章的基础上再阅读本文。 当我们需要分析用户的一段交互...

Continue reading

Flink 原理与实现:Window 机制

in Flink read (956)

Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flin...

Continue reading

Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streaming 文档中那一大坨的转换时,常常会蒙了圈,文档中那些只言...

Continue reading

继前文Flink 原理与实现:架构和拓扑概览中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序,构造出一个代表拓扑结构的StreamGraph的。以 Wor...

Continue reading

Matrix42

Record and Share!