HBase

1. 简介

  • 基于Google Bigtable的开源实现；

  • 分布式、可伸缩；

  • 列式储存（有争议，我认为不是，见下文）；

  • 基于HDFS；

  • 不支持RDBMS的一些高级特性，如事务机制，第二索引，高级查询语言；

  • 强读写一致性；

  • 自动切分数据；

  • RegionServer自动失效备援；

  • 数十亿行 * 数百万列 * 数千个版本 = TB或PB级的储存

关于 Bigtable是否为列式存储有一定争议，我认为不是。

维基百科定义：

  • 列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理（OLAP）和即时查询。

  • 相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于小批量的数据处理，常用于联机事务型数据处理（OLTP）。

HBase 有这么一个介绍：HBase is a column-oriented database management system that runs on top of Hadoop Distributed File System (HDFS)。由于翻译不当，所以被误认为 HBase 是列式存储数据库。应当翻译为 HBase 是运行在 HDFS 之上的面向列的数据库管理系统

HBase 底层存储的数据结构为 LSM（Log-Structured Merge-Tree），即不是列式存储，也不是行式存储，而是面向列族的。如下图：

那么，HBase 底层存储大致如下：

  • 不同的列族存在不同的文件中。

  • 整个数据是按照 Rowkey 进行字典排序的。

  • 每一列数据在底层 HFile 中是以 KV 形式存储的。

  • 相同的一行数据中，如果列族也一样，那么这些数据是顺序放在一起的。

  • 不同行相同的列族数据是相邻存储的，同一行不同列族的数据是存储在不同位置的。

列式存储的优点：

  • 更容易压缩：列式存储把一列的数据放在一起存储，同一列的数据往往类型是一样的，更容易压缩。

  • 更适合 OLAP：OLTP 通常对数据记录进行增删查改，所以行式存储更适合；但是 OLAP 一般对大量数据进行汇总和分析，更适合列式存储。

2. 数据模型

Google Bigtable Paper中对Bigtable的定义：

A Bigtable is a sparse, distributed, persistent multidimensional sorted map.

The map is indexed by a row key, column key, and a timestamp; each value in the map is an uninterpreted array of bytes.

HBase的数据模型非常相似：

  • 表(table)：一张表有多行。

  • 行(row)：一行包括一个行健(row key)，多个列族(column family)，一张表中按照行健排序，以行健为索引。如，row1。

  • 列族(column family)：每个列族包含多个列(column)，需要在建表时定义好。如data、meta。

  • 列(column)：每个列都属于某一个列族，以 列族名:列名(column qualifier) 表示。如 meta:minetype。

  • 版本(version)：默认是时间戳。

  • 单元格(cell)：由[行，列，版本号]来唯一确定。

{
  // ...
  "row1" : {
    "family1" : {
      "column1" : {
        timestamp2 : "value1",
        timestamp3 : "value2"
        },
      "column2" : {timestamp : "value3"}
    },
    "family2" : { ... }
  },
  "row2" : {
    "family3" : { ... }
  },
  // ...
}

官方例子：

Row Key

Time Stamp

Family contents

Family anchor

Family people

"com.cnn.www"

t9

anchor:cnnsi.com = "CNN"

"com.cnn.www"

t8

anchor:my.look.ca = "CNN.com"

"com.cnn.www"

t6

contents:html = "<html>…

"com.cnn.www"

t5

contents:html = "<html>…

"com.cnn.www"

t3

contents:html = "<html>…

"com.example.www"

t5

contents:html = "<html>…

people:author: "John Doe"

表格中的空白单元不会占用物理存储空间，只是概念上存在

3. 安装

hbase有Standalone、Pseudo-Distributed（伪分布式）、Fully Distributed（分布式）三种部署方式；

3.1. Standalone安装

Standalone模式在单节点运行，且所有的daemon（HMaster, HRegionServer, and ZooKeeper）都在一个 JVM 进程中运行；

  • 下载 HBase，建议下载stable版本；

  • 解压并移动目录；

$ tar -xzvf hbase-1.2.6-bin.tar.gz
$ mv hbase-1.2.6 /usr/local/hbase

  • 配置JAVA_HOME环境变量

$ cd /usr/local/hbase
$ vi conf/hbase-env.sh
export JAVA_HOME=`/usr/libexec/java_home -v 1.8`

  • 配置hbase-site.xml

配置属性 hbase.rootdir，file表示使用本地文件系统作为hbase的数据储存，指定hdfs://namenode.example.org:8020/hbase可以指定HDFS作为储存介质；

$ vi conf/hbase-site.xml
​
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///usr/local/hbase/data</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/hbase/zookeeper</value>
  </property>
</configuration>

  • 启动hbase

$ bin/start-hbase.sh

quit可以退出shell；

$ bin/hbase shell

  • 关闭hbase服务

$ bin/stop-hbase.sh

3.2. 伪分布式安装

伪分布式模式也是在单个节点运行，但是daemon（HMaster, HRegionServer, and ZooKeeper）分别在不同的jvm进程中；

安装方法

启动多个master

bin/local-master-backup.sh start 2 3 4

启动多个regionserver

bin/local-regionservers.sh start 2 3 4

查看端口占用

lsof -nP -iTCP -sTCP:LISTEN

webUI

3.3. 分布式安装

分布式模式在多个节点中运行，集群有多个节点，每个节点运行一个或多个HBase的daemon，包括主、副Master节点，多个Zookeeper节点，多个RegionServer节点；

安装方法

4. 操作

HBase Shell是一个Ruby脚本，可以操作HBase数据；

HBase是java写的，所以提供了java API，是访问HBase最快的方式；

4.1. 连接

连接

$ cd /usr/local/hbase
​
$ bin/hbase shell
​
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017
​
hbase(main):001:0>

退出

hbase(main):001:0> exit

java API

Configuration conf = HBaseConfiguration.create();
conf.set(HConstants.ZOOKEEPER_QUORUM, "172.16.233.78");
try {
    Connection conn = ConnectionFactory.createConnection(conf);
    Admin admin = conn.getAdmin();
}finally {
    if (conn!=null && !conn.isClosed()) {
        conn.close();
    }
}

4.2 General Command

status

hbase(main):002:0> status
1 active master, 0 backup masters, 1 servers, 0 dead, 3.0000 average load

version

hbase(main):005:0> version
1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017

table_help

hbase(main):007:0> table_help

whoami

hbase(main):008:0> whoami
zhaoyun (auth:SIMPLE)
    groups: staff, everyone, localaccounts, _appserverusr, admin, _appserveradm, _lpadmin, com.apple.sharepoint.group.1, _appstore, _lpoperator, _developer, com.apple.access_ftp, com.apple.access_screensharing, com.apple.access_ssh-disabled

4.3 Table Operation

Create Table

创建一个名为element的表，含量两个列族，分别为base和ext；

hbase(main):021:0> create 'element' , 'base', 'ext'

java API

HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("element"));
tableDescriptor.addFamily(new HColumnDescriptor("base"));
tableDescriptor.addFamily(new HColumnDescriptor("ext"));
admin.createTable(tableDescriptor);

List Table

hbase(main):021:0> list

java API

HTableDescriptor[] tables = admin.listTables();

Disable Table

若要删除或者修改一个表，先需要disable它；

hbase(main):021:0> disable 'element'
​
hbase(main):030:0> is_disabled 'element'
​
hbase(main):032:0> disable_all 'e.*'

java API

if (!admin.isTableDisabled(TableName.valueOf("element"))) {
    admin.disableTable(TableName.valueOf("element"));
}

Enable Table

hbase(main):021:0> enable 'element'
​
hbase(main):021:0> is_enabled 'element'

java API

if (!admin.isTableEnabled(TableName.valueOf("element"))) {
    admin.enableTable(TableName.valueOf("element"));
}

Describe Table

hbase(main):021:0> describe 'element'
​
Table element is ENABLED
element
COLUMN FAMILIES DESCRIPTION
{NAME => 'base', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0',
BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
{NAME => 'ext', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', B
LOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}

Alter Table

# 把element表的base列族的VERSIONS属性设为5
hbase(main):021:0> alter 'element', NAME => 'base', VERSIONS => 5
​
hbase(main):021:0> alter 'element' , READONLY
​
hbase(main):021:0> alter 'element', METHOD => 'table_att_unset',NAME => 'MAX_FILESIZE'
​
# 删除列族ext
hbase(main):021:0> alter 'element', 'delete' => 'ext'

java API

admin.addColumn(TableName.valueOf("element"), new HColumnDescriptor("newColFamily"));
admin.deleteColumn(TableName.valueOf("element"), "newColFamily".getBytes());

Exists

hbase(main):021:0> exists 'element'
​
Table element does exist

java API

boolean exists = admin.tableExists(TableName.valueOf("element"));

Drop Table

在删除一个表时，先必须disable它；

hbase(main):021:0> drop 'element'
​
hbase(main):021:0> drop_all 'ele.*'

java API

if (!admin.isTableDisabled(TableName.valueOf("element"))) {
    admin.disableTable(TableName.valueOf("element"));
}
admin.deleteTable(TableName.valueOf("element"));

4.4 Data Operation

Scan

hbase(main):021:0> scan 'element'

Create Data

向element表的第1行的base列族添加elementId列，值设为1234；

hbase(main):021:0> put 'element', '1', 'base:elementId','1234'

java API

Table table = conn.getTable(TableName.valueOf("element"));
Put put = new Put("1".getBytes());
put.addColumn("base".getBytes(), "elementId".getBytes(), "1234".getBytes());
table.put(put);
table.close();

Update Data

把element表的第1行的base列族的elementId列的值更新为12345；

hbase(main):021:0> put 'element', '1', 'base:elementId','12345'

java API

Table table = conn.getTable(TableName.valueOf("element"));
Put put = new Put("1".getBytes());
put.addColumn("base".getBytes(), "elementId".getBytes(), "12345".getBytes());
table.put(put);
table.close();

Read Data

hbase(main):021:0> get 'element' , '1'
​
COLUMN                                              CELL
 base:elementId                                     timestamp=1501833865714, value=12345

java API

Table table = conn.getTable(TableName.valueOf("element"));
Get get = new Get("1".getBytes());
Result result = table.get(get);
table.close();

Delete Data

# delete a cell
hbase(main):021:0> delete 'element', '1','base:elementId'
​
# delete a row
hbase(main):021:0> delete 'element', '1'

java API

Table table = conn.getTable(TableName.valueOf("element"));
Delete delete = new Delete("1".getBytes());
delete.addColumn("base".getBytes(), "elementId".getBytes());
table.delete(delete);
table.close();

Count

hbase(main):021:0> count 'element'

Truncate

hbase(main):021:0> truncate 'element'

4.5 过滤器

HBase主要的数据读取函数是get()和scan()，它们都是指定行健来访问数据。可以在查询中添加更多的限制条件（过滤器）来减少查询得到的数据量。

过滤器在客户端创建，通过RPC传送到服务端，然后在服务端执行过滤操作。

比较过滤器、列族过滤器、列名过滤器、值过滤器、时间戳过滤器、自定义过滤器。。。

4.6 协处理器

coprocessor，可以让用户把一部分计算移动到数据存放端（RegionServer）。

数据的处理流程直接放到服务器上执行，然后返回一个小的处理结果集。类似于一个MapReduce框架，将工作分发到整个集群。

协处理器在每个region中按照顺序执行。

4.7 Phoenix

phoenix把SQL语句编译成HBase API，提供二级索引等功能。

Apache Phoenix与HBase：HBase之上SQL的过去，现在和未来

5. 架构

  • HMaster：负责监控集群、管理RegionServers的负责均衡等，可以用主-备形式部署多个Master。

  • HRegionServer：负责响应用户的I/O操作请求，客户端对HBase读写数据是与RegionServer交互。

  • Zookeeper：负责选举Master的主节点；服务注册；保存RegionServers的状态等。可以使用系统内建的zookeeper，也可以使用独立的zookeeper。

  • HDFS：真正的数据持久层，并非必须是HDFS文件系统，但搭配HDFS是最佳选择，也是目前应用最广泛的选择。

5.1 hbase:meta

  • 所有的region信息；

  • 保存在Zookeeper中；

5.2 HMaster

  • 分配Region：1、启动时；2、RegionServer失效时；3、Region切分时；

  • 监控集群中的所有RegionServer，实现其负载均衡；

  • DDL：表格的创建、删除和更新-列族的更新；

  • HDFS上的垃圾文件回收；

5.3 RegionServer

HRegionServer是HBase中最主要的组件，负责table数据的实际读写，管理Region。

在分布式集群中，HRegionServer一般跟DataNode在同一个节点上，目的是实现数据的本地性，提高读写效率。

  • 响应client的读写请求，进行I/O操作（直接绕过HMaster）；

  • 与HDFS交互，管理table数据；

  • 当Region的大小到达阀值时切分Region；

5.3.1 功能

  • 定期向Master汇报；

  • 管理Region，执行Flush、Compaction、Open、Close、Load等操作；

  • 管理WAL；

  • 执行数据插入、更新和删除操作；

5.3.2 组件

5.3.2.1 WAL: Write Ahead Log

  • 记录RegionServer上的所有编辑信息（Puts/Deletes操作，属于哪个Region），在写到memstore之前；

  • 用于RegionServer失效时，通过Replay恢复RegionServer上memstore中尚未持久化的数据；

5.3.2.2 MemStore

  • 是Region中的重要组成部分；

  • 写缓存；

  • 数据先写到MemStore，flush触发后刷新到磁盘；

  • KeyValue的形式；

5.3.2.3 BlockCache

  • 读缓存；

  • 每个RegionServer中只有一个BlockCache实例；

5.3.2.4 Region

  • region的层级结构

  • HBase表格根据row key 划分成“Regions”；

  • 一个Region包含该表格中从起始key到结束key之间的所有行；

  • 当Region的大小达到指定的阀值时，RegionServer会执行Region的切分，分裂执行完毕后，会将子Region添加到hbase:meta并且汇报给Master；

可以预建分区以减少Region切分

5.3.3 流程

5.3.3.1 初始化

  • Client从ZooKeeper中读取hbase:meta表；

  • Clinet从hbase:meta获取想要操作的Region的位置信息，缓存；

  • Client向目标Region所在的RegionServer发送请求，执行操作；

  • 当一个region因为Master执行负载均衡或者RegionServer挂掉而执行的重定位之后，Client需要重新读取hbase:meta进行缓存；

5.3.3.2 写

  • Client提交一个Put请求到RegionServer，数据首先会写到WAL中；

  • 当数据写到WAL之后，数据会写到MemStore中，等待刷新到磁盘中；

  • 数据写到MemStore完成之后，RS会给Client发送确认信息；

5.3.3.3 读

  • 首先扫描BlockCache（读缓存）中寻找row cell；

  • 若没有，扫描MemStore（写缓存）中寻找row cell；

  • 若没有，HBase会使用BlockCache索引和bloom filters来加载那包含目标row cells的HFile到内存；

5.4 Zookeeper

  • 存储hbase:meta，即所有Region的位置信息；

  • 存储HBase中表格的元数据信息；

  • ZooKeeper集群本身使用一致性协议(PAXOS协议)保证每个节点状态的一致性；

  • 保证集群中有且只有一个HMaster为Active；

6. FAQ

HBase与Hive的对比

HBase

Hive

类型

列式数据库

数据仓库

内部机制

数据库引擎

MapReduce

增删改查

都支持

只支持导入和查询

Schema

只需要预先定义列族，不需要具体到列列可以动态修改

需要预先定义表格

应用场景

实时

离线处理

特点

以K-V形式存储

类SQL

HRegionServer宕机如何处理

  • ZooKeeper会监控HRegionServer的上下线情况，当ZK发现某个HRegionServer宕机之后会通知HMaster；

  • 该HRegionServer会停止对外提供服务，就是它所负责的region暂时停止对外提供服务；

  • HMaster会将该HRegionServer所负责的region转移到其他HRegionServer上，并且会对HRegionServer上存在memstore中还未持久化到磁盘中的数据进行恢复；

  • 这个恢复的工作是由WAL replay来完成；

总结

参考文献

PreviousLocal DebugNextKafka

Last updated