Flink 版本: 1.14.2 HA集群环境规划 使用三台节点实现两主两从集群 Jobmanager：node1,node2 一个active，一个standby Taskmanager：node1,node2 Zookeeper: node1,node2,node3 ...
Continue readingFlink版本:1.14 Hudi版本:0.8.0 背景 测试发现当使用MOR(Merge On Read)表的时候写入速度很慢 问题原因 对环境和代码进行分析,发现有2个问题 测试环境使用的是虚拟机,IO速度很慢 Hudi代码有问题 下面对代码问题进行分析 问题分析 ...
Continue readingFlink版本:1.14 SSL连接问题 javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriat...
Continue reading流处理应用程序通常是有状态的，“记住”已处理事件中的信息，并使用它来影响进一步的事件处理。在Flink中，记住的信息，即状态，被本地存储在配置的状态后端中。为了防止发生故障时丢失数据，状态后端会定期将其内容的快照持久化到预先配置的持久存储中。RocksDB状态后端（即Roc...
Continue reading一、背景 国家信息安全漏洞库（CNNVD）收到关于Apache Flink安全漏洞（CNNVD-202101-271、CVE-2020-17519）（CNNVD-202101-273、CVE-2020-17518）情况的报送。成功利用漏洞的攻击者，可在未授权的情况下，构造恶...
Continue reading2021年1月5日，Apache Flink官方发布安全更新，修复了由蚂蚁安全非攻实验室发现提交的2个高危漏洞： CVE-2020-17519：攻击者可通过REST API使用../跳目录实现系统任意文件读取； CVE-2020-17518：通过构造恶意的http hea...
Continue readingBucketing File Sink 创建一个默认的bucketing sink,sink到一个由时间作为切分的滚动的文件 DataStream<String> input = ...; //只需要一个文件存储的路径 input.addSink(new Buc...
Continue reading设置从指定offset开始读取 在Flink 1.3.0及以上可以使用setStartFromSpecificOffsets设置从指定offset开始读取 Fault Tolerance 开启checkpoint即可 offset提交行为 如果checkpoint被禁用,F...
Continue reading