2021 年 1 月 5 日，Apache Flink 官方发布安全更新，修复了由蚂蚁安全非攻实验室发现提交的 2 个高危漏洞： CVE-2020-17519：攻击者可通过 REST API 使用../ 跳目录实现系统任意文件读取； CVE-2020-17518：通过构造恶意的 http hea...
Continue reading1. 下载 Hive http://mirror.bit.edu.cn/apache/hive/ 2. 解压配置 解压后进入 conf 目录 cp hive-default.xml.template hive-site.xml 编辑 hive-site.xml, 增加下面内容, mys...
Continue readingBucketing File Sink 创建一个默认的 bucketing sink,sink 到一个由时间作为切分的滚动的文件 DataStream<String> input = ...; // 只需要一个文件存储的路径 input.addSink(new Buc...
Continue readinghttp://kafka.apache.org/0101/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html
Continue reading设置从指定 offset 开始读取 在 Flink 1.3.0 及以上可以使用 setStartFromSpecificOffsets 设置从指定 offset 开始读取 Fault Tolerance 开启 checkpoint 即可 offset 提交行为 如果 checkpoint 被禁用, F...
Continue reading1. 如何查看 Linux 系统当前状态 cpu, io, memory, network 进程列表，查找特定进程 pid，进程的 cpu, io, memory 使用情况， 系统的打开文件句柄数，线程数，当前用户的打开文件句柄数，线程数 java 进程 进程 pid，内存使用情况，JV...
Continue reading使 Flink 输出的数据在多个 partition 中均匀分布 FlinkKafkaProducerBase 的子类可以使用默认的 KafkaPartitioner FixedPartitioner(只向 partition 0 中写数据) 也可以使用自己定义的 Partitioner(继承...
Continue reading拆分表 help 'split' Split entire table or pass a region to split individual region. With the second parameter, you can specify an explicit ...
Continue reading