hbase 的物理模型

前段时间看了下 hbase 表结构,意识到想要理解好 hbase,理解它的物理存储至关重要,所以本文主要就介绍下 hbase 的物理模型。

先看下下图


image.png

HRegionServev 负责管理数据的 CRUD,client 的请求都是直接到 HRegionServer,然后 HRegionServer 负责协调处理,每个物理节点一般只有一个 HRegionServer,HRegionServer 包含多个 HRegion,HRegion 存放真正的数据。HRegionServer 上有HLog,每一笔 CRUD 操作都会记录在上面。

在讨论什么是 HRegion 之前,我们先思考一个问题,具体某个 HRegion 是由哪个 HRegionServer管理,是由什么决定的呢?
由 HMaster 决定,它会考虑负载情况,决定某个新增的 HRegion 由哪个 HregionServer 管理。

什么是 HRegion?
默认情况下每个新建的表都有一个 HRegion。HRegion 是 Store 组成,专门用来存储数据的,其中不同列族的数据会存储在不同的 Store 里。store 有两部分组成,一是 storefile,相当于对 hdfs 的datanode上的二进制存储做了一个包装,让数据可以以 key value 形式存储。二是 memstore 内存存储,数据写入时候,会先把数据写入到 memstore,等 memstore 的存储到了一个阈值,会 flush 到 storefile 上。读取数据的时候也会先去 memstore 读取,如果 memstore 里没有,再去 storefile 上读取。随着数据的不断产生,会有新的 HRegion 诞生,由 HMaster 决定哪个 HRegionServer 来管理它,而 HLog 每个 HRegionServer 上只会有一个。

Hbase 的数据删除怎么做的?
删除就是写入一个版本更新的数据,并加上一个标识,随着写入,storefile 的数量会变多,当 storefile 的数量到达一个值时,会合并storefile,并在过程中删掉无用的数据。

meta 表和 root 表存在意义?
meta 表会维护行健范围到 HRegionServer 的映射关系,这样当一个请求来了,能根据行健,快速找到要去哪个 HRegionServer 请求。meta表本质上也是一张表,meta 表在哪个HRegionServer 上怎么知道呢?一种做法是直接放到 zk 上,但是一个问题是如果数据太大,meta 表可能也要分不同 region,那怎么办呢?meta 表的数据到 HRegionServer 的映射关系我们也用一张表存储一下,就是 root 表,root 表存放在 zk 上。如果 root 表需要分不同 region 呢?未考虑这种情况,不太可能出现。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容

  • 最近在逐步跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hb...
    飞鸿无痕阅读 50,153评论 19 271
  • 一、HBase简介 Hbase是什么 HBase是一种构建在HDFS之上的分布式、面向列、多版本、非关系型的数据库...
    便利蜂数据平台阅读 971评论 0 4
  • HBase存储架构图 HBase Master 为Region server分配region 负责Region s...
    kimibob阅读 5,542评论 0 52
  • 一、HBase简介 Hbase是什么HBase是一种构建在HDFS之上的分布式、面向列、多版本、非关系型的数据库。...
    龙梦起飞阅读 4,980评论 1 6
  • 比特科技: 存储、数据库、大数据技术 » HBase原理和设计 http://www.bitstech.net/...
    葡萄喃喃呓语阅读 723评论 0 11