Flink Rolling File Sink

in Hadoop,Flink read (1375)

Bucketing File Sink 创建一个默认的 bucketing sink,sink 到一个由时间作为切分的滚动的文件 DataStream<String> input = ...; // 只需要一个文件存储的路径 input.addSink(new Buc...

Continue reading

Hadoop 系列 - HDFS 体系结构 (二)

in Hadoop read (950)

设计目标 自动快速检测应对硬件错误 流式访问数据 转移计算比转移数据本身更划算 简单一致性模型 异构平台的可移植性 ![HDFS 体系结构][1] HDFS 采用了 master-slave 架构, 一个 HDFS 集群由一个 master 节点 (NameNode) 和...

Continue reading
  • page 1 of 1

Matrix42

Record and Share!