HBase架构原理

一.HBase架构

HBase是Master/slaves架构，一般是一个HMaster，多个HRegionServer进程

从上图中能看出 HBase 是由 Client、ZooKeeper、HMaster、HRegionServer、HDFS 等几个组件组成

1.Client：客户端

可以是HBase Shell，Java API客户端，RestAPI等

Client是用来访问数据库的，它不仅提供了访问接口，还维护了对应的缓存（cache）来加速HBase的访问。Client端的缓存主要是缓存Region的位置信息，减少获取元数据的时间。当Client没有缓存的时候（第一次请求），会加载Region的位置信息到Client端，后面直接使用cache中的信息，如果出现重试，则会重新获取Region1的位置信息，更新Client端的cache

2.ZooKeeper

HBase通过ZooKeeper来做HMaster的高可用，HRegionServer的监控，元数据的入口以及集群配置的维护等工作

具体工作：

（1）通过 ZoopKeeper 来保证集群中只有 1 个 HMaster 在运行，如果 HMaster异常，会通过竞争机制产生新的 HMaster 提供服务。

（2）通过 ZoopKeeper 来监控 HRegionServer 的状态，当 HRegionSevrer 有异常的时候，通过 Master 会收到 ZooKeeper 消息通知 HRegionServer 上下线的信息。

（3）通过 ZoopKeeper 存储元数据的统一入口地址

3.HMaster

（1）监控HRegionServer，处理HRegionServer故障转移，当某个HRegionServer挂掉时，ZooKeeper会将分配在该HRegionServer上的HRegion分配到其他HRegionServer上进行管理。

（2）HRegion分裂后，负责新的HRegion的分配

（3）处理元数据的变更，比如对表的添加，修改，删除等操作

（4）在空闲时间进行数据的负载均衡，主要就是在HRegionServer建迁移HRegion，达到负载均衡

（5）通过ZooKeeper发布自己的位置给客户端

4.HRegionServer

HRegionServer直接负责用户的读写请求，是真正的“干活”的节点。

功能：

（1）负责和底层HDFS的交互，存储数据到HDFS，HBase是依托于HDFS的NoSQL数据库，数据会存储在HDFS上。

（2）处理分配给它的HRegion

（3）刷新缓存到HDFS

（4）维护HLog，HLog是一个容错机制。

（5）处理来自于客户端的读写请求。HRegionServer是实际管理数据的，所以客户端的读写请求最终都要由HRegionServer来处理

（6）负责处理HRegion变大后的拆分

（7）负责StoreFile的合并工作

5.HDFS

HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用（HLog 存储在 HDFS）的支持

（1）提供元数据和表数据的底层分布式存储服务

（2）数据多副本，保证的高可靠性和高可用性

6.Write-Ahead Logs

Write-Ahead Logs也叫预写日志，在HBase中为HLog，HLog存储在HDFS上。

为什么存在要有预写日志呢？其实跟HBase架构设计有关，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存汇总可能有更高的概率引起数据丢失，为了解决这个问题，数据在写入内存之前会先卸载一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

HLog是每一个RegionServer对应一个

7.HRegion

HRegion可以看成是表的横向切片，HBase表的分片，Hbase每个表都会根据RowKey值被切分成不同的HRegion分散存储在HRegionServer中，在一个HRegionServer中可以有多个不同的HRegion。这些HRegion可以来自不同的表。

一个 HRegion 只能在一个 HRegionServer 上，不能跨多个HRegionServer。

8.Store

每一个 Region 内部，又分为多个 Store，一个 Store 对应表中的一个列族。也就是说一个 Store 存储了对应表该列族下的部分数据

9.MemStore

顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在 WAL 中之后，HRegsionServer 会在内存中存储键值对

10.HFile

这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以 HFile 的形式存储在 HDFS 的

文件内容是二进制

二.HBase数据存储结构

HBase 是稀疏的，稀疏主要是针对 HBase 列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。HBase 底层存储的数据是 KeyValue 格式的数据。

1.RowKey

RowKey是用来检索记录的主键。类似于关系型数据库中的主键，但是RowKey在HBase中功能不只是为了检索，HBase中表数据会按照RowKey进行排序，并会在HRegion达到一定大小后，会按照RowKey范围进行裂变

HBase Table中的行，只有三种方式：

（1）通过单个RowKey访问

（2）通过RowKey的range(正则)

（3）全表扫描

RowKey行键（RowKey）可以是任意字符串（最大长度是64KB，实际应用中长度一般为10-100bytes），在Hbase内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序排序存储。设计RowKey时，要充分利用排序存储这个特性，将经常一起读取的行存储放到一起。

2.Column Family

列族是HBase对表在纵向上的优化，将一个表横向向上切成多个Region，列族是在纵向进行切分的，将多列分成一组进行管理。

列族在在物理存储上对应于HDFS上的一个目录。HBase表中的每个列，都归属于某个列族。列族是表的schema的一部分（而列不是），必须在使用表之前定义（也就是创建表时定义）。列名都以列族作为前缀。例如：courses：history，courses：math都属于courses这个列族

每一个列族对应一个Store，也对应HDFS一个目录，类似于Hive分区操作一样，HBase相当于按列族进行分区

3.Cell

由{RowKey, ColumnFamily, Version} 唯一确定的单元。其中 Versions 实际上是TimeStamp。Cell 可以看成是一个存储空间，类似与 Excel 中的单元格，Cell 中的数据是没有类型的，全部是字节码形式存储

4.Time Stamp

HBase中通过rowkey和ColumnFamily：Column确定的一个存储单元成为Cell。每个Cell都保存着同一份数据的多个版本。版本可以通过时间戳来索引。时间戳的类型是64位整型。时间戳可以有HBase（在数据写入时自动）赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以有客户显示赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的管理（包括存储和索引）负担，HBase提供了两种数据版本回收方法。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）

三.HBase原理

1.元数据存储

HBase中有一个系统表hbase：meta存储HBase元数据信息，可以在HBase WebUI查看到相关信息

该表记录保存了每个表的Region地址，还有一些其他信息，例如Region的名字，对应表的名字，开始行键，结束行键，服务器的信息。hbase：meta表中每一缸对应一个单一的Region。

ZooKeeper中存储了hbase：meta表的位置，客户端可以通过ZooKeeper查找到hbase：meta表的位置，hbase：meta是hbase当中一张表，肯定由一个HRegionServer来管理，其实主要就是通过ZooKeeper的“/hbase/meta-region-server”获取存储“hbase：meta”表的HRegionServer的地址。

2.读流程

（1）Client先访问ZooKeeper，从meta表读取Region的位置，然后读取meta表中的数据。meta中又存储了用户表的Region信息；

（2）根据RowKey在meta表中找到对应的Region的信息；

（3）找到这个Region对应的RegionServer；

（4）查找对应的Region；

（5）先从Memstore找数据，如果没有，再到BlockCache里面读；

（6）BlockCache还没有，再到StoreFile（为了读取的效率）

（7）如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

3.写流程

（1）Client访问ZooKeeper，获取Meta表所处位置（ip）

（2）访问Meta表，然后读取Meta表中的数据

（3）根据namespace，表名和RowKey在Meta表中找到该RowKey应该写入到哪个Region

（4）找到这个Region对应的RegionServer，并发送写数据请求

（5）HRegionServer将数据先写到HLog（write Ahead Log）。为了数据的持久化和恢复

（6）HRegionServer将数据写到内存（MemStore）

（7）反馈Client写成功。

写数据这一块也可以看出，HBase 将数据写入到内存中后，就返回给客户端写入成功，响应非常快。这也是为什么 HBase 写数据速度快的原因。

4.数据Flush过程

HBase写数据是写到MemStore内存就会返回客户端，并没有直接落磁盘。这也是为什么HBase插入数据会比较快的原因，磁盘IO非常小。

那么什么时候数据会落磁盘呢？其实MemStore空间是有限的，当MemStore数据达到阈值（默认是128M,老版本是64M），删除HLog中的历史数据。该操作是由RegionServer自己完成的。