分布式系统中的CAP理论

in 分布式 read (549)

什么是CAP理论 CAP理论是一个经典的分布式系统理论。CAP理论告诉我们:一个分布式系统不可能同时满足一致性(C:Consistency)、可用性(A:Availability)和分区容错性(P:Partition tolerance)这三个基本需求,最多只能同时满足其中...

Continue reading

Centos7 禁用ipv4只用ipv6

in Linux read (472)

配置网卡 以ens33为例 编辑网卡配置文件 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 更改或增加配置项 IPV6INIT=yes IPV4INIT=no 可以通过以下几种方法生效 重启网卡 sudo ifdown...

Continue reading

Hudi写MOR表性能问题分析

in Flink,Hudi read (1107)

Flink版本:1.14 Hudi版本:0.8.0 背景 测试发现当使用MOR(Merge On Read)表的时候写入速度很慢 问题原因 对环境和代码进行分析,发现有2个问题 测试环境使用的是虚拟机,IO速度很慢 Hudi代码有问题 下面对代码问题进行分析 问题分析 ...

Continue reading

Hudi参数

in Hudi read (552)

Hudi版本:0.8.0 Source参数 参数名 必填 默认值 类型 说明 path 是 无 string hudi表路径 partition.default.name _DEFAULT_PARTITION_ string 如果动态分区列的值为空或nu...

Continue reading

Hudi调研

in Hudi read (886)

1. Hudi简介 Hudi表示Hadoop Upserts Deletes and Incrementals,用于管理HDFS上的大型分析数据集存储。 Hudi的主要目的是高效的减少入库延时。 Hudi是Uber开发的一个开源项目。 2. 存储类型 Hudi支持以下存储类...

Continue reading
  • page 1 of 1

Matrix42

Record and Share!