北京列举网 > 教育培训 > 职业培训 > 好程序员大数据培训对Hbase的体系结构讲解
北京
[切换城市]

好程序员大数据培训对Hbase的体系结构讲解

更新时间:2018-04-13 15:49:33 浏览次数:47次
区域: 北京 > 海淀 > 清河
类别:技能培训
地址:北京市海淀区宝盛北里西区28号天丰利商城4层
  好程序员首先给大家普及一下Hbase的介绍,Hbase的服务器体系结构遵从简单的主从服务器架构,HRegion Server群和Hbase Master服务器构成。Hbase Master服务器负责管理所有的HRegion Server,而Hbase 中所有的服务器都是通过ZooKeeper来进行协调,并处理Hbase 服务器运行期间可能遇到的错误。Hbase Master本身并不存储Hbase 中的任何数据,Hbase 逻辑上的表可能会被划分成多个Region,然后存储到HRegion Server群中。Hbase Master Server中存储的是从数据到HRegion Server的映射。
  1.Client
  Client包括Hbase shell 和java API.管理类操作,Client与HMaster进行RPC;对于数据读写类操作,Client与HRegionServer进行RPC。
  2.Zookeeper
  ?Zookeeper避免了HMaster的单点问题,Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址,HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中,使得HMaster可以随时感知到各个HRegionServer的健康状态。
  3.Hmaster
  集群的老大,负责管理HRegionServer,告诉HRegionServer去维护哪些region,主要作用有以下四点:
  管理用户对Table的增、删、改、查操作;
  管理HRegion Server的负载均衡,调整Region分布;
  在Region Split后,负责新Region的分配;
  在HRegion Server停机后,负责失效HRegion Server上的Regions迁移。
  4.Region
  ? 当表的大小超过设置值的时候默认值是10G,Hbase 会自动地将表划分为不同的区域,每个区域包含所有行的一个子集region。一个Region会保存一个表里面某段连续的数据,从开始主键到结束主键,一张完整的表格是保存在多个Region上面的。
  对用户来说,每个表是一堆数据的集合,靠主键来区分。从物理上来说,一张表被拆分成了多块,每一块就是一个Region。我们用表名+开始结束主键,来区分每一个Region。
  5.HRegion Server
  HRegion Server主要负责响应用户的读写请求,内部管理了一系列HRegion对象,每个HRegion对应了Table中的一个Region,Region中由多个Store组成。每个Store对应了Table中的一个列族的存储,Store存储是Hbase 存储的核心了,其中由两部分组成,一部分是MemStore,一部分是Store***mStore是Sorted Memory Buffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile底层实现是HFile。
  6.ROOT表和META表
  所有Region的元数据信息被存在meta表中,随着region不断分裂增多,meta表变大,也会分裂出属于meta表的region,meta表的region元数据信息保存在root表中,并且root表不再split,终由zookeeper记录root表的位置。
  7.Hlog
  每个HRegion Server中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中HLog文件格式见后续,HLog文件定期会滚动出新的,并删除旧的文件已持久化到StoreFile中的数据。当HRegion Server意外终止后,HMaster会通过Zookeeper感知到,HMaster首先会处理遗留的 HLog文件,将其中不同Region的Log数据进行拆分,分别放到相应region的目录下,然后再将失效的region重新分配,领取到这些region的HRegion Server在Load Region的过程中,会发现有历史HLog需要处理,因此会Replay HLog中的数据到MemStore中,然后flush到StoreFiles,完成数据恢复。
  以上是好程序员小编对Hbase的体系结构的介绍,如有疑问欢迎留言提问。
北京职业培训相关信息
3小时前
3小时前
注册时间:2017年11月02日
UID:438687
---------- 认证信息 ----------
邮箱已认证 手机已认证
查看用户主页