说明:本人使用的cdh版本是5.13.2,对应的hive版本是1.1.0-cdh5.13.2,flink版本为1.10。以下为配置过程: 首先修改flink-1.10/con...
说明:本人使用的cdh版本是5.13.2,对应的hive版本是1.1.0-cdh5.13.2,flink版本为1.10。以下为配置过程: 首先修改flink-1.10/con...
上一篇讲述了什么是分布式一致性问题,以及它难在哪里,liveness和satefy问题,和FLP impossibility定理。有兴趣的童鞋可以看看分布式系统一致性问题与R...
一、MapReduce2工作机制 1.1、MapReduce2的架构图 1.2、MapReduce2运作步骤 说在前头的话,上图中有一个ResoureceManager,这是...
目录 1. Shuffle的引入 2. Shuffle过程 3.Map端Shuffle 4. Reduce Shuffle 1. Shuffle的引入 Map 是映射,负责数...
作者:Snailclimb链接:https://segmentfault.com/a/1190000019619667 什么是MySQL? MySQL 是一种关系型数据库,在...
一:均衡层次结构和非均衡层次结构 先来看看均衡层次结构和非均衡层次结构的定义吧。 均衡层次结构:纬度有多个递归层次,比如说商品的类目级别有:叶子类目,五级类目,四级类目,三级...
一:数据库的诞生背景 互联网已经高速发展了很多年,各大企业都根据自己的业务搭建了自己的门户网站,拥有自己的服务器,以及自己的用户。用户在对企业的服务进行交互访问时,用户给企业...
目录 input split map shuffle reduce 架构设计 一个单词统计的例子引入 input split 在进行map计算之前,mapreduce会根据输...
目录 HDFS F HDFS HA 为了解决HDFS1.0 中单点故障问题和内存受问题。提出了HDFS HA 和HDFS F。 解决单点故障问题: HDFS HA: 通过Na...