列存储
-
概念：
- 区别于rdbms的行式存储格式，nosql使用列式存储格式
-
优点：
- 行式存储操作实时行级别的，列式存储操作是列级别的。所以粒度更细
- 行式存储一行中的列都是一样的（结构化），列式存储每一行中的列可以不一样（半结构化）。所以支持的数据格式更广泛，半结构化可以支持结构化数据，结构化数据不可以支持半结构化数据
- 性能更优化，读写速度更快
DDL
1. namespace
list_namespace
create_namespace
drop_namespace
describe_namespace
list_namespace_tables
2. ddl
备注：只有管理员admin才能操作
list
create： 创建表时只需要给定表名和列簇名称，两种方式：配置列簇属性和不配置列簇属性
create 'test_table',{NAME=>'cf1'},{NAME=>'cf2'}
describe/desc
drop： hbase中表是enable状态的话，不允许对表结构进行修改和删除，需要先disable禁用
disable
enable
DML
1.dml
put： hbase中没有更新和删除操作，所有的更新都是插入
put 'test_table','rowkey_1234','cf1:name','zhangsan'
scan：用于查询一行或多行，或全表扫描
scan 'test_table',{limit=10}
get： 用于查询某一行，就是某一个rowkey的数据
get 'test_table','rokey_1234'
delete: 删除
delete 'test_table','rowkey_1234','cf1:cm1'
delete 'teste_table','rowkey_1234'
热点问题与数据倾斜
概念：
热点问题： 客户端的请求大量集中在某一个节点，导致该节点上的负载非常高，而其他节点负载过低的-现象
数据倾斜： 由于计算任务大量集中在某一个节点，导致该节点上的负载非常高，而其他节点负载过低的现象区别：
热点问题： 请求层面，热点问题可能会造成数据倾斜
数据倾斜： 计算层面，数据倾斜不一定由热点问题造成原因：
热点问题在很多场景中都会发生，在hbase中表现造成热点问题的原因是
1.客户端大量请求的rowkey连续集中在某一个region上
2.表中只有一个分区，所有的请求都集中在这个region上
3.表没有预分区，也没有开启均衡，所有的分区都集中在某个节点解决：
1.需要设计好表的分区region范围，避免分区范围不均衡，通过分区范围解决
2.需要创建预分区，多分区，通过分区个数解决
预分区
背景： 在创建表的时候，默认只有一个分区，此时容易操作服务端热点问题
概念： 在创建表的时候，根据rowkey的分布来设计一张表刚开始就有多个分区，分区需要根据rowkey的前缀或者完整的rowkey来设计，因为region的分配就是根据rowkey来划分分区的
意义：
1.增加数据读写效率
2.负载均衡，防止数据倾斜
3.方便集群容灾调度region
4.优化Map 数量方式：
1.指定分区范围 create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40']
2.适用于分区较多场景 指定规则文件 create 'ns1:t2', 'f1', SPLITS_FILE => '/export/datas/splits.txt'
3.通过java API 来划分分区admin.createTable(HtableDescriptor desc，byte splitKeys)
RowKey的设计规则
-
原因：
- 为什么rowkey设计至关重要？
- 所有数据在存储时都是根据rowkey来读写对应分区的，即分区是根据rowkey来划分的
- rowkey是hbase中的唯一索引
- rowkey在查询时是前缀匹配的
- 为什么rowkey设计至关重要？
-
后果：rowkey设计不好会产生什么后果？
- 会造成热点问题
- 会造成全表扫描
-
设计规则：
- 唯一原则：
任何一个rowkey，必须唯一标记一行，类似于主键的唯一性 - 散列原则：
构建rowkey的随机散列，不允许rowkey是连续的，避免热点问题
若rowkey前缀是一个固定的字段，且会产生连续，如何解决呢？
1. 编码，通过md5/crc32等方式来将固定字段进行编码然后作为rowkey
2. 反转，rowkey是按照ascii码的字典顺序，固定字段反转之后，就不连续
3. 随机数，将固定字段加随机数，不推荐，因为不便于维护 - 业务原则： 根据业务维度来设计rowkey，例如将经常作为查询条件的维度
- 组合原则： 将各个业务维度组合来设计rowkey
- 长度原则： 一般rowkey的长度不要超过100个字节，可以使用十六进制或三十二进制压缩长度
- 唯一原则：
JavaAPI
介绍：
1.hbase中 hbase shell 一般用来封装脚本，执行ddl操作，一般用来封装做ddl操作通过hbase shell xxx.query指定，脚本操作结尾要加exit
2.javaapi则是实际使用场景，一般用来执行dml操作，和分布式框架使用，做中间件技术，提供程序访问hbase的接口
API方法：
1.HBaseConfiguration; 创建hbase的初始化对象
2.HBaseAdmin;hbase的管理员对象，需要进行ddl操作时需要的对象
1.tableExists
2.disableTable
3.deleteTable
4.deleteNamespace
5.listNamespaceDescriptors
3.HTableDescriptor;hbase的表描述对象
1.addFamily
2.createTable
3.getTableName
4.TableName;表名称对象
1.getNameAsString
5.HColumnDescriptor;hbase的列簇描述对象
1.setMaxVersions
2.setBlockCacheEnabled
3.
6.NamespaceDescriptor;hbase的名称空间描述对象
1.createNamespace
2.create
7.Get;get命令获取数据
8.Result;一个result代表一个rowkey的所有数据
1.rawCells
9.Cell;一个cell就是一列的数据
10.Table;表对象
1.get
2.put
3.delete
4.getScanner
11.Put;
1.addColumn
12.Delete;
1.addColumn
13.ResultScanner;result对象的集合
读取
1.驱动类，封装了mr程序中的参数集合，调用方法TableMapReduceUtil.inittablemapper(输入和map的参数);
2.mapper类，需要继承TableMapper类，默认input输入的key和value为ImmutableBytesWritable和Result
实现：
底层通过tableinpputformat实现；sqoop底层通过dbinputformat实现
<解释>
因为mr读取hbase数据，只是做了数据的读取，并不做数据的聚合，所有不需要reduce
写入
1.驱动类，封装了mr程序中的参数集合，调用方法TableMapReduceUtil.inittablereduce(reduce和输出的参数);
2.reducer类，需要继承TableReducer类，默认output输出的value为put对象
实现：
底层通过TableOutputFormat实现；sqoop底层通过dboutputformat实现
<解释>
需要在reduce类中构建put对象，用于存储数据，所以需要reduce
