4.1 概述

4.1.1 关于BigTable

BigTable是谷歌开发的 为解决典型的互联网搜索问题的 分布式存储系统

互联网搜索服务一般分为两步：首先，爬虫持续不断的抓取新页面，每页一行存储到BigTable里，MR运行在整张表上，生成索引；然后，用户发起网络搜索请求时，应用索引在BigTbale里得到网页，然后把搜索结果提交到用户。

4.1.2 HBase简介

1. HBase是高可靠、高性能、面向列、可伸缩的分布式数据库，BigTable的开源实现，用于存储非结构化或半结构化的数据。可处理10亿行几百万列的数据表。

2. HBase与Hadoop生态中其它组件的关系

1）HDFS为HBase提供底层的文件系统支持；

2）MR为HBase提供海量数据处理的计算引擎；

3）Zookeeper为HBase提供协同服务管理；

4）Pig/Hive为HBase提供高层语言支持；

3. 已有HDFS和MR，为什么需要HBase？

HBase更有效地解决实时处理和随机访问问题。HDFS和MR则更适用于离线高延迟批量处理。

4.1.3 HBase与传统数据库对比

1）数据类型：HBase仅支持一种类型，即未经解释的字符串；

2）数据操作：HBase通常只采用单表的主键查询，而不涉及多个表的复杂连接；

3）存储模式：HBase基于列（族）存储；

4）数据索引：HBase只有一个索引-行键；

5）数据维护：HBase不会删除旧数据，而是会存储多个版本（带时间戳）

6）可伸缩性：HBase很好的支持横向扩展，即通过加机器解决问题。

4.2 HBase访问接口

1）Java API是最常规和高效的方式；

2）HBase Shell是最常用的管理操作；

3）Thrift Gateway通过序列化技术扩展了支持的语言，如python等；☆

4）REST Gateway支持了HTTP API访问；

5）Pig和Hive是数仓工具。

上述工具均应系统学习。

4.3 HBase数据模型

4.3.1~4.3.3 HBase简介数据模型

1. 概述：HBase是一个稀疏、多维度、排序的映射表，索引是行键、列族、列限定符、时间戳。

2. 相关概念：

1）表：表仍然由行和列组成，其中列分为若干个列族。

2）行：每个行有一个独一无二的行键进行标识；可以通过单个行键、行键区间、全表扫描等方式进行访问；行键被保存为字节数据，且存储时是排过序的。

3）列族：设计表时就被写死的，通常几十个。

4）列限定符：也就是列，每个列族都有若干个列，而且不用事先定义。

5）单元格：通过行键、列族、列限定符就可以锁定到一个单元格了。

6）时间戳：每个单元格都保存着同一份数据的多个版本，通过时间戳进行标记，时间戳默认desc排序。

3. 数据坐标角度

通过行键、列族、列限定符、时间戳就能索引出独一无二的数据来了，因此也称之为数据的四维坐标。

4. 键值角度

把四维坐标看成一个整体，当作键，索引出的数据叫做值，那么HBase就可以看作键值数据库了。

4.3.4~4.3.5 概念视图与物理视图

概念视图

概念视图是稀疏的，因为很多[行键，列族，列限定符，时间戳]索引都没有值

但物理视图是紧凑的，因为HBase是基于列存储，每个列族单独存放，有值的才会存放，没有值的，连NULL都没有。

4.3.6 深入理解面向列的存储

1. 面向行存储

数据是一行一行被存储的，以学生信息系统为例，每一行包含了一个学生的全部信息，比如学号、姓名、性别、年龄、专业、班级、手机、邮箱、等等。

增删改：若新来了一个学生，则在该数据库新增加一行；若某个学生退学了，则把改行删除；若某个学生的某个信息（如手机号）发生了改动，则对该信息做对应修改。

查：若想把所有学生的年龄取出来，看一下年龄分布，则注意：此时需要逐行扫描，对每一行，都要扫描学号、姓名、年龄、、、最终找到年龄。

2. 面向列存储

把全部的数据分成若干个列（族），比如联系方式是一个列族（里面包括手机号、邮箱等列限定符），该列族对所有的学生的联系方式进行存储，基本信息是一个列族（里面包括年龄、性别等），该列族存储所有学生的所有基本信息。

增删改：对应的信息不做删除，而是会添加，并用时间戳进行标记。

查：若此时想取出年龄，则不再需要遍历所有学生的所有信息，仅把对应列族的列取出来即可。

注意：尽管是面向列存储，但归根结底每一行是一个学生，这就是行键的作用。

3. 两者的区别

若数据库会频繁进行修改，则适用于行式数据库。若数据库一经存储便不再修改（数仓），但需要做很多查询、分析等，则适用于列式数据库。

（更多的从HBase的物理视图去理解列式数据库）

4.4 HBase的实现原理

4.4.1 HBase的功能组件

1）库函数：负责连接到每个客户端。

2）一个Master服务器：① 负责管理和维护HBase表的分区信息；② 负责维护Region服务器列表；③ 负责不同的Region服务器的负载均衡。

3）若干个Region服务器：存储和维护分配给自己的Region，处理来自客户端的读写请求。

4.4.2 表和Region

1）一个HBase库可以有很多表，每个表的行是排过序的，排序的依据是行键的值的字典序。

2）一个表的行数可能非常之大，无法存储到单台服务器上，因此会根据行键的值进行分区，每个行区间构成一个分区，称为Region。

3）分区机制：① 每个表最初只包含一个region，随着数据不断插入，当行数达到设定的阈值时，会自动等分成两个region；② 不同的region被master分配到不同的region服务器上，一个region服务器可以存储很多个region，但同一个region不会被拆分到多个region服务器上。

4.4.3 Region定位

1. 由下及上

1）.META表：维护RegionID和Region服务器的映射关系。

2）-ROOT-表：因为Region数量庞大，所以.META表本身也被拆分成了若干个Region。-ROOT-表记录.META表的Region信息。-ROOT-表只有一个Region。

3）Zookeeper文件：记录了-ROOT-表的位置信息。

2. 由上及下

客户端通过Zookeeper文件找到-ROOT-表的存储位置，然后通过-ROOT-表找到.META表的位置，然后通过.META表找到所需的Region在哪个Region服务器上，然后到该Region服务器读取数据。

4.5 HBase运行机制

4.5.1 HBase的系统架构

HBase系统架构如下图

HBase不直接跟硬件打交道，而是架构在HDFS文件系统之上的。主要由客户端、Zookeeper、Master、Region服务器（核心）四个部分构成。分别简述如下。

1. 客户端

如上图所示，客户端会访问Zookeeper获取文件的存储位置、并进行一些缓存、访问Region服务器读取数据等。

2. Zookeeper服务器

1）把-ROOT文件保存到内存中，供客户端进行三级寻址；

2）在Region服务器集群中选出一个master；

3）监控所有的Region服务器，并实时通知给master。

3. Master

管理着表和Region，包括以下方面：

1）管理客户端对表的增删改查操作，负责不同Region服务器的负载均衡；

2）在Region发生分裂或合并时负责调整；

3）对故障失效的Region服务器上的Region进行迁移。

注意：Master不参与客户端访问HBase服务器上数据的过程。（？）

4. Region服务器

是HBase的核心模块，存储着数据，并响应用户的读写请求。HBase本身不进行数据复制、维护副本等，由HDFS支持。HBase也可以不使用HDFS。

4.5.2 Region服务器的工作原理

如上图所示：① Region集群包括若干个Region服务器，② 一个Region服务器有若干个Region和一个HLog文件，③ 每个Region有若干个Store（一个Store即是一个列族），④ 每个Store有若干个StoreFile（在磁盘中）和一个MemStore（在内存中），⑤ StoreFile对应于HDFS中的HFile。

1. 读写数据

1）写数据：相应的Region服务器先把数据写到MemStore和HLog里；

2）读数据：Region服务器先去MemStore找，如果不在缓存中，再去磁盘的StoreFile里找。

2. 缓存刷新

1）MemStore：系统周期性调用Region.flushcache()把MemStore内容写到StoreFile里，并把相应操作记录到HLog里。

2）HLog：Region服务器每次启动时会检查HLog，确认最后一次Region.flushcache()后是否有新的写入记录，如果有，则写到MemStore中，再刷到StoreFile中。最后删除旧的HLog文件。

3. StoreFile合并

在磁盘中的StoreFile数量达到一个阈值时，系统调用Store.compact()把多个StoreFile合并成一个大文件，以减少查询时间。

4.5.3 Store的工作原理

1）MemStore是排序的内存缓冲区；

2）周期性刷到StoreFile中；

3）StoreFile合并；

4）当单个StoreFile文件大小超过一定阈值（只可能出现在某次合并后）时，重新分裂成两个StoreFile。注意：此时原有的Region分裂成两个，父Region下线，两个新的子Region被Master分配到相应的Region服务器上。

4.5.4 HLog的工作原理

1）预写入：MemStore中的数据对应的日志已被写入磁盘后，才会刷到StoreFile里。

2）Region服务器故障处理：① Zookeeper监测到，并通知给Master，② Matser找到该服务器上的HLog文件，把记录的数据根据所属的Region对象进行拆分，③ 把拆分后的HLog分发到可用的Region服务器上，Region服务器根据HLog完成数据恢复操作

3）为什么一个Region服务器不同的Region共用一个HLog：减少磁盘寻址次数，提高对表的写操作性能。

4.6 HBase应用

4.6.1 性能优化方法

1）行键：行键按字典序存储，把行键设置成时间戳等，可把时间相近得数据存储的也相近

2）InMemory：设置为True，把表放到缓存中

3）Max Version：最大版本数不用设置太高，若只需最新的设置为1就行了

4）Time To Live：设置数据的存储生命周期，到期自动清空

4.6.2 性能监视

自带的Master-status：以Web方式显示监控集群状态

Open TSDB：略

Ambari：创建、管理、监视Hadoop集群

4.6.3 在HBase上构建SQL引擎

目的：易用、减少编码量。

方案：1）Hive、2）Phoenix等

4.6.4 HBase的二级索引

略

4.7 HBase编程实践

4.7.1 HBase Shell

注意HBase终究是数据库，所以HBase Shell的大部分命令都是类似于MySQL语言的操作，包括建表、列出表信息、插数、查数、浏览表、修改列、统计行数、删除数据、删除表、等等。除此之外还有少量的关闭HBase集群、检查集群状态的命令

4.7.2 HBase的Java API

略，回头细学。