Filter 过滤器
- 背景知识：
- 在hbase中，所有数据在存储时按照rowkey的ASCII码表字典顺序进行排序的
- 在hbase中，rowkey的查询都是前缀匹配
- rowkey是hbase中的唯一索引，所有数据的读写要么通过rowkey查询，要么就是全表扫描
- hbase底层没有数据类型，数据全部都是按照字节数组存储，
- 按照keyvalue对格式存储每一列数据，key=ns+tb+cf+c+ts，value=value
- 一般搭配scan来使用
shell过滤器种类：
1. TimestampsFilter，时间戳过滤器
2. QualifierFilter，列名过滤器，需要指定比较参数和比较值 QualifierFilter (>=, 'binary:xyz')
3. ROWPREFIXFILTER，rowkey前缀过滤器
javaapi过滤器种类：
第一类：比较过滤器;通过比较的工具类，来实现过滤,返回符合的rowkey所有的数据
1.RowFilter
2.FamilyFilter
3.QualifierFilter
4.ValueFilter
第二类：专有过滤器;用的比较多，封装好的方法来实现
1.prexfixFilter：rowkey前缀过滤器
2.singleColumnValueFilter/singleColumnValueExcludeFilter：单列值过滤器
3.MultipleColumnPrefixFilter：多列过滤器
4.pageFilter：分页过滤器，一般在工作中，必须指定对应的起始位置，一般搭配startrow来使用
第三类：组合过滤器，就是各种过滤器组合在一起，FilterList
如何使用过滤器：
1.shell中使用"{列属性}"指定,例如：
{COLUMNS => ''};{STARTROW => '闭区间',STOPROW => '开区间'}
{ROWPREFIXFILTER => '',FILTER => ''}
Hbase:ns/Hbase:meta
-
内容：
"hbase:namespace"表，这张表会记录hbase中所有namespace的信息，当用户进行请求时，会读取这张表的信息来判断用户访问的namespace是否存在
-
"hbase:meta"表，hbase表中的元数据表，meta表中记录了：
- meta表中的rowkey包含了regioninfo和server两个部分，其中包含regioninfo的rowkey，记录了region的名称，startkey和stopkey。包含server的rowkey记录了这个region所在的regionserver的地址和端口
- meta表记录了除了自己之外所有的在hbase中的表的region的名称；其中“region名称”的构成：表名称+region的起始范围+region的时间+region的唯一id
补充：
1.数据读写请求，客户端如何找到对应的region的region的？
A：zk记录了meta表的"region信息"，"region信息"包括region的名称，startkey和stopkey，还包含了这个region所在的节点地址和端口，通过这些去对应regionserver上找到的meta表的数据，然后meta表中记录了除了自己之外的hbase中所有表的"region信息",这些"region信息"也包括region的名称，startkey和stopkey，还包含了这个region所在的节点地址和端口。然后通过这些信息再去找到对应regionserver上的region
Hbase的存储原理：
-
读写请求概述：
- 客户端第一次请求时，本地没有记录region信息，先去请求zk，获取meta表的region信息
- 然后再跟据region信息请求对应的regionserver，获取meta表的数据，得到要查询表中rowkey对应的region信息
- 客户端再次跟据返回的表中rowkey对应的region信息去请求regionserver提交读写请求，并缓存本地请求的地址及region信息，供下次使用，直接请求regionserver获取表数据
- regionserver跟据请求来操作region，跟据列簇来判断读写哪个store
-
读请求：
- 请求会优先读取内存中数据，即memstore，若数据没有在内存中，就读缓存，然后读hdfs
-
写请求：
- 请求会先写入内存memstore中，当memstore满足条件时，触发flush刷写，将memstore中的数据变成storefile文件
- 通过hbase底层封装的hdfs客户端，将文件生成在以hfile的文件类型存储在hdfs上
Hbase读写请求流程
写请求流程
- 客户端提交一条写的命令，根据这个请求的rowkey来获取对应的region信息，来请求对应的regionserver，以此来对rowkey进行操作
- 将请求提交给对应的regionserver，regionserver根据请求写入的region的名称来操作
- 根据请求中的列簇来判断要写入该region中的哪个store
- 将数据以keyvalue形式写入memstore
- memstore达到一定条件以后，会触发flush，内存中数据会写入hdfs，
- hdfs中的storefile达到一定条件以后，会触发compaction，将storefile文件归并排序进行合并
- 当整个region的数据大小达到一定条件以后，会触发split，一个region会分裂成两个region，原来的region被销毁
读请求流程
- 客户端请求zk，从zk获取meta表的地址
- 客户端读取meta表的数据，根据读命令中的表名来获取表所有的reigon信息，
- 找到要读取的region以及对应的regionserver地址
如果是get请求，指定了rowkey，则返回这个rowkey对应的region信息
如果是scan请求，则返回这张表对应的所有的region信息 - 根据返回的reigon地址，请求对应的regionserver，
- regionserver根据region名称来找到对应的region，并进行读操作
- 若请求中指定了列，则读取列簇对应的store，若请求中没有指定列，则读取所有store的数据
- 请求在读取store时，优先读取内存中的store，即memstore，若memstore中没有找到，若开启了缓存，则取memcache缓存中找，若没有开启缓存，则直接去hdfs上找storefile，若hdfs上也没有，就是数据不存在，直接返回，若是hdfs上有，就将这条数据返回，若开启了缓存，还需要将数据添加到memcache中，方便下次使用
查询内存：
有： 返回
没有： 缓存：
有： 返回
没有：hdfs
有： 返回并添加缓存
没有：返回
- 解释:
- 经实践分析，新写入的数据在请求访问是命中率最高，所以保存在内存中
- 根据LRU最近最少使用算法，将访问频率高的数据添加到缓存中，提高缓存访问的命中率
