安装 Windows 下载地址: https://git-for-windows.github.io Linux yum install git 配置 全局配置 git config --global user.name "Your Name" git config ...

Continue reading

Flink 已经拥有了强大的 DataStream/DataSet API，可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢？ 首先 Table API 是一种关系型 API，类 SQL 的 API，用户可以像操作表一样地操作数据...

Continue reading

快速输入 main 方法和 System.out.println() 在 IntelJ 中和 Eclipse 中稍有不同，在 Eclipse 中，输入 main 再按 Alt+/ 即可自动补全 main 函数，但是在 IntellJ 中则是输入 psvm，选中即可 在方法体内部有 for 循环，在 Inte...

Continue reading

在上一篇文章：Window 机制中，我们介绍了窗口的概念和底层实现，以及 Flink 一些内建的窗口，包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口：会话窗口（session window）。建议您在阅读完上一篇文章的基础上再阅读本文。 当我们需要分析用户的一段交互...

Continue reading

Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flin...

Continue reading

Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streaming 文档中那一大坨的转换时，常常会蒙了圈，文档中那些只言...

Continue reading

继前文 Flink 原理与实现：架构和拓扑概览中介绍了 Flink 的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用 Stream API 编写的程序，构造出一个代表拓扑结构的 StreamGraph 的。以 Wor...

Continue reading

本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念，如：Slot、SlotSharingGroup、CoLocationGroup、Chain 等。并会着重讨论 Flink 如何对计算资源进行管理和隔离，如何...

Continue reading