学习一下MPP架构的特点，优势，常见的一些MPP架构的系统（CK、Doris、SR、Trino等）各方面对比。 一、MPP架构概述 1.1 什么是MPP架构 MPP (Mas...
发简信
IP属地：北京
-
MPP架构相关知识学习
-
【HDFS】EC重构过程中的校验功能：DecodingValidator
一、动机 DecodingValidator是在HDFS-15759中引入的一个用于校验EC数据重构正确性的组件。 先说下引入DecodingValidator的动机，据很多...
-
【HDFS】EC文件副本缺失后，会自动补充么？
EC存储能够有效较低存储成本，但是我们也需要关注数据可用性相关的事情，避免发生数据丢失的情况。 本文来探讨一下EC补充低冗余度的块的相关知识。 先说一下什么是低冗余度，我以R...
-
【HDFS】BlockPlacementPolicyRackFaultTolerant#getMaxNode方法的功能及具体实例
方法参数说明： numOfChosen：已经选择的节点数 numOfReplicas：还需要选择的副本数 方法的返回值是一个长度为2的数组：[调整后的要选出多少个节点（不包括...
-
【Ratis】关于对Raft论文里safety的保证及代码实现
Raft论文里算法部分核心内容就三个方面：1、Leader Election 领导者选举2、Log Replication 日志复制3、Safety 安全性 前面的系列文章...
-
【HDFS-Client系列】FSOutputSummer#write1方法的细节
有些代码初次阅读并不能看出其中的处理细节，但是当过一段时间对这个部分熟悉了之后再来阅读，就能发现并体会其中的细节。 本文说一下FSOutputSummer#write1的细节...
-
【HDFS】如果文件的lastblock的最后一个chunk不满512字节，会生成checksum么？
如题，本文试图弄清楚这样一个问题：如果文件的最后一个block的最后一个chunk里的数据不足512字节，那么还会为其生成checksum么？ 先给出答案：会生成。 接着我们...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定义adjustCrcChannelPosition方法。应用场景在：append，block recovery等场景。 方法的作用是设置che...
-
【HDFS】DFSPacket中lastPacketInBlock字段的关键作用！
这篇文章介绍了DFSPacket对象的lastPacketInBlock字段相关的知识。【HDFS Client】DFSPacket对象什么情况下是lastPacketInB...
-
【HDFS Client】DFSOutputStream细节（未完成）
前言 本文主要介绍以下内容：DFSOutputStream里的一些重要方法的作用DFSOutputStream里关于写Packet的一些有趣的配置项。 重要方法 abort：...
-
【HDFS Client】DFSPacket对象什么情况下是lastPacketInBlock？前言：本篇文章主要回答了如下问题：① HDFS客户端写数据时怎么界定一个DFSPacket对象是此block里的最后一个DFSPacket？② DFSPacket对象里的la...
-
protobuf协议兼容处理
目标： 了解protobuf是如何做协议兼容的。 问题： 在protobuf中，是怎么做到新旧协议传输的兼容的，比如：（问题一）在新的协议里面增加了一个字段，传输到另一方是如...
-
【HDFS】BlockSender发送数据源码详解本文包含如下内容：1、BlockSend在发送数据之前读数据文件和meta文件生成的Packet的结构。2、BlockSender的核心方法：sendBlock和sendPa...
-
-
【HDFS】从BlockPoolSlice#createRbwFile到BlockReceiver()
BlockPoolSlice#createRbwFile的过程 FsDatasetImpl#createRbw的源码详解 需要构造BlockReceiver的几种情况讨论 从...
-
【HDFS】FsDatasetImpl系列文章
【HDFS】FsDatasetImpl#recoverClose方法[https://blog.csdn.net/yexiguafu/article/details/1290...
-
【HDFS】一个RPC的生命周期，从服务端接收到响应的各个阶段的统计指标注：本文参考的hadoop版本是：3.3.2 RPC生命周期 在ProcessingDetails.Timing枚举类里： TODO：画一幅图，标注出每个阶段。 Handle...
-
openJDK源码下载对于英文不好的同学，在国外的网站下载各种工具代码， 是非常痛苦的。今天分享下openJDK源码是如何下载的。 1.打开openjdk网站 打开链接 2.点击想要下载的jdk的...
-
Linux内核之文件系统如何描述一个文件 文件在内存和磁盘上是如何描述的：每个文件至少要有一个数据结构存放该文件的信息，包括uid、gid、flag、文件长度、文件内容存放位置的数据结构等。在Lin...
-
我在maven public仓库里看到有gdal的包，直接用那个不行么?
【Java】maven-shaded-plugin超详细详解
一、总体介绍 maven-shaded-plugin提供了两大基本功能： 将依赖的jar包打包到当前jar包（常规打包是不会将所依赖的jar包打进来的）； 对依赖的jar包进...
