Hbase学习笔记-Hbase架构详解

主从架构:HmasterHRegionServer

协调服务Zookeeper协调hmaster与hregionServer

底层hbase数据存储hbase文件中

Client与zookeeper和hregionServer交互不与Hmaster交互类似于hdfs

namenode和datanode

客户端Client:

整个hbase集群的入口进行表的增删查改操作入口与zookeeper进行一系列的的交互

使用hbase

rpc机制与hmaster、hregionServer进行通信

与hmaster通信进行管理类的操作

与hregionserver通信进行读写类的操作表的交互

包含访问hbase的接口,并维护cache加快对hbase的访问,与hregionServer交互

协调服务zookeeper

保证任何时候,集群中只有一个master HA解决单节点故障

存储所有region的寻址入口

实时监控Region server的上线和下线信息并实时通知给master

存储hbase的schema和table元数据

Hbase主节点Hmaster

通过zookeeper选举机制解决单节点故障问题

管理用户对表table的增删改查操作主要是针对表的管理不是表数据的管理

管理HregionServer的负载均衡和调整Region的分布

在Region Split(扩大)后,负责新Region的分配

Hmaster失效仅会导致所有元数据无法被修改,表的数据读写还是可以正常进行

RegionServer节点:

维护Hregion并往HDFS中写数据

当表的大小超过设置时候,split HRegion

在Hregion Server停机后,负责失效HregionServer上的Region迁移

Hbase与Zookeeper

Hbase元数据存储在zookeeper中

默认情况下,Hbase(自带zookeeper,生产环境中一般使用外置通用的的zookeeper)管理Zookeeper的实例比如启动或停止zookeeper

Zookeeper解决Hbase单点故障问题zookeeper选举机制

Hmaster与HregionServer启动时会向Zookeeper注册

Zookeeper文件->root表信息(0.96后不存储root表信息)->meta Data->user Table

寻找RegionServer过程:

Zookeeper(读取zookeeper找到root表位置) ->

Root (root表包含meta表所在的region列表该表只会有一个Region

zookeeper中记录了root的location)

Meta(meta表包含所有用户控件region列表以及RegionServer服务器的地址)

用户表

Client第一次操作后,会将root meta缓存到本地不需要再访问zoookeeper

Hbase容错:

Master容错:zookeeper重新选择一个新的master

无master过程中,数据读取照常进行客户端读取数据无需经过hmaster

无master过程中,region切分、负载均衡等无法进行

RegionServer容错:定时向zookeeper汇报心跳如果一段时间未出现心跳,master将该RegionServer的region重新分配到其他RegionServer

失效服务器上的预写日志由主服务器进行分割并派送给新的RegionServer

Zookeeper容错:zookeeper高可靠的服务不存在单点故障

HBase数据存储:

HLog HFileStoreFile是对HFile做一层封装

插入一条数据写两份文件一个是HLog文件二进制日志文件

Region文件,内存中写数据-memstore文件达到一定大小后StoreFile文件

Hbase中所有数据文件都存储在hadoop

hdfs文件系统上,格式主要有:

HFile:Hbase中keyValue数据的存储格式,Hfile是hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile

HLogFile:Hbase中WAL write

ahead log的存储格式,物理上是hadoop的sequence file带项目符号的内容。在机器学习的迭代计算中非常有优势

Delete是针对数据打上标签,后期进行compactor时候,再进行删除操作。

不是立即删除。

Log flusher -> HLog线程同步

HRegionServer:

其管理一些列Hregion对象

每个HRegion对应Table中一个Region,HRegion由多个HStore组成

每个HStore对应Table中一个Column Family的存储

Column Family就是一个集中地存储单元,将具有IO特性的Column放在一个Column

Family会更高效

版本合并和数据删除:删除的数据是客户端打了标签的数据,即之前delete的数据。

Hbase的写操作非常快,直接往内存中写数据。

所有的更新和删除操作都是在conpact阶段做的。

StoreFile文件结构:

StoreFile以HFile格式保存在HDFS上

Data Block段-保存表中的数据,可以被压缩

Meta block段可选,保存用户自定义的kv对,可以被压缩

File info段,HFile的元信息,不压缩用户也可以在这一部分添加自己的元信息

Data block index段– data block索引,每条索引的key是被索引的block的第一条记录的key

Meta block index段meta block索引

Trailer定长保存每一段的偏移量

类似于Mysql的banglog用于做灾难恢复集群挂了下次启动根据日志恢复

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,009评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,808评论 2 378
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,891评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,283评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,285评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,409评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,809评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,487评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,680评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,499评论 2 318
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,548评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,268评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,815评论 3 304
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,872评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,102评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,683评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,253评论 2 341

推荐阅读更多精彩内容