Hudi写MOR表性能问题分析

in Flink,Hudi read (1087)

Flink版本:1.14 Hudi版本:0.8.0 背景 测试发现当使用MOR(Merge On Read)表的时候写入速度很慢 问题原因 对环境和代码进行分析,发现有2个问题 测试环境使用的是虚拟机,IO速度很慢 Hudi代码有问题 下面对代码问题进行分析 问题分析 ...

Continue reading

Hudi参数

in Hudi read (529)

Hudi版本:0.8.0 Source参数 参数名 必填 默认值 类型 说明 path 是 无 string hudi表路径 partition.default.name _DEFAULT_PARTITION_ string 如果动态分区列的值为空或nu...

Continue reading

Hudi调研

in Hudi read (864)

1. Hudi简介 Hudi表示Hadoop Upserts Deletes and Incrementals,用于管理HDFS上的大型分析数据集存储。 Hudi的主要目的是高效的减少入库延时。 Hudi是Uber开发的一个开源项目。 2. 存储类型 Hudi支持以下存储类...

Continue reading
  • page 1 of 1

Matrix42

Record and Share!