Flink Rolling File Sink

in Hadoop,Flink read (1453)

Bucketing File Sink 创建一个默认的bucketing sink,sink到一个由时间作为切分的滚动的文件 DataStream<String> input = ...; //只需要一个文件存储的路径 input.addSink(new Buc...

Continue reading

Hadoop系列-HDFS体系结构(二)

in Hadoop read (990)

设计目标 自动快速检测应对硬件错误 流式访问数据 转移计算比转移数据本身更划算 简单一致性模型 异构平台的可移植性 ![HDFS体系结构][1] HDFS采用了master-slave架构,一个HDFS集群由一个master节点(NameNode)和...

Continue reading
  • page 1 of 1

Matrix42

Record and Share!