大数据技术之HBase简介（1）
目录
HBase 简介
HBase 定义
HBase 数据模型
HBase 逻辑结构
HBase 物理存储结构
HBase 基本架构
HBase 简介
HBase 定义
Apache HBase™ 是一种分布式、可扩展的 NoSQL 数据库，它基于 HDFS 进行数据存储。
HBase 数据模型
HBase 的设计理念源自 Google 的 BigTable 论文，采用类似的数据模型。
-
BigTable 数据模型简介:
- Bigtable 是一个稀疏的、分布式的、持久的多维排序 map。
- 映射由行键、列键和时间戳索引；映射中的每个值都是一个未解释的字节数组。
-
HBase 数据模型:
- HBase 使用与 Bigtable 非常相似的数据模型。用户将数据行存储在带标签的表中。
- 数据行具有可排序的键和任意数量的列。
- 表存储稀疏，因此同一表中的行可以具有变化很大的列。
-
关键特性:
- 稀疏、分布式、多维、排序的映射。
- 映射指代非关系型数据库的 key-value 结构。
HBase 逻辑结构
HBase 可以用于存储多种结构的数据，以下是以 JSON 格式表示的一个例子：
{"row_key1":{"personal_info":{"name":"zhangsan","city":"北京","phone":"131********"},"office_info":{"tel":"010-1111111","address":"lzl"}},"row_key11":{"personal_info":{"city":"上海","phone":"132********"},"office_info":{"tel":"010-1111111" }},"row_key2":{...}
}逻辑结构示例:
| personal_info | office_info | ||
|---|---|---|---|
| Row Key | name | city | phone |
| row_key1 | 张三 | 北京 | 131***** |
| row_key11 | 上海 | 132***** | |
| row_key2 | 王五 | 广州 | |
| row_key3 | 深圳 | 187***** | |
| ... |
- 存储数据稀疏，数据存储多维。
- 不同行具有不同的列。
- 数据存储整体有序，按照 RowKey 的字典序排列。
HBase 物理存储结构
物理存储结构:
| Row Key | Column Family | Column Qualifier | Timestamp | Type | Value |
|---|---|---|---|---|---|
| row_key1 | personal_info | name | t1 | Put | 张三 |
| row_key1 | personal_info | city | t2 | Put | 北京 |
| row_key1 | personal_info | phone | t3 | Put | 131***** |
| row_key1 | personal_info | phone | t4 | Put | 177***** |
- Timestamp: 不同版本（version）的数据根据 timestamp 进行区分，读取数据默认读取最新版本。
- StoreFile: 物理文件。
- Type: 对于删除操作，其类型为 DeleteColumn。
数据模型
- Name Space: 类似于关系型数据库的 database 概念，每个命名空间下有多个表。
- Table: 类似于关系型数据库的表概念，定义表时只需要声明列族即可。
- Row: HBase 表中的每行数据都由一个 RowKey 和多个 Column 组成。
- Column: 每个列都由 Column Family(列族)和 Column Qualifier（列限定符）限定。
- Time Stamp: 用于标识数据的不同版本。
- Cell: 由{rowkey, column Family：column Qualifier, timestamp} 唯一确定的单元。
HBase 基本架构
- Master: 主要进程，负责监控 RegionServer 状态，管理元数据变化。
- RegionServer: 负责数据 cell 的处理。
- Region: 表被分割成多个 Region，由 RegionServer 管理。
- Zookeeper: 用于 Master 的高可用、记录 RegionServer 的部署信息等。
- HDFS: 提供底层数据存储服务和支持。
架构角色:
- Master: 实现类为 HMaster，负责监控集群中的所有 RegionServer 实例。
- Region Server: 实现类为 HRegionServer，负责数据 cell 的处理。
- Zookeeper: HBase 通过 Zookeeper 来做 Master 的高可用、记录 RegionServer 的部署信息。
- HDFS: 为 Hbase 提供最终的底层数据存储服务。