资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/hbase读写原理

hbase读写原理

IT那活儿 / 1909人阅读
hbase读写原理

点击上方“IT那活儿”，关注后了解更多内容，不管IT什么活儿，干就完了！！！



HBase读流程
1. Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；
2. 根据namespace、表名和rowkey在meta表中找到对应的region信息；
3. 找到这个region对应的regionserver；
4. 查找对应的region；
5. 先从MemStore找数据，如果没有，再到BlockCache里面读；
6. BlockCache还没有，再到StoreFile上读(为了读取的效率)；
7. 如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。



HBase写流程
1. Client向HregionServer发送写请求；
2. HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复；
3. HregionServer将数据写到内存（MemStore）；
4. 反馈Client写成功。



数据flush过程
1. 当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；
2. 并将数据存储到HDFS中；



数据合并过程
1. 当数据块达到4块，Hmaster将数据块加载到本地，进行合并；
2. 当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；
3. 当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；
4. 注意：HLog会同步到HDFS。



Hlog灾难恢复应用
1. 背景：大数据hbase集群中regionserver大面积重启。       
2. 现象：regionserver重启后，前台业务开始积压，hbase产生大量GC。
3. 处理过程：把gc高积压高的regionserver服务再次重启，重启几次后发现积压没有任何改善，后观察WAL log不断跟新，后分析应该是regionserver重启导致hlog日志在进行恢复，所以导致产生大量gc进而积压了前端的业务。后决定暂时不对regionserver进行任何操作，持续观察WAL log日志是否在跟新恢复。
4. 结果：大概两个小时左右hlog灾难恢复完成后观察GC发现几乎没有gc前端业务也正常处理积压没有持续增长。



本文作者：徐 苗

本文来源：IT那活儿（上海新炬王翦团队）

GPU云服务器 云服务器 hbase读写性能 hbase读写流程 数据库读写分离的原理 hbase原理

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129543.html

相关文章

  • Apache Trafodion技术架构介绍

    摘要：它主要包括以下几部分采用对文本进行文法分析，生成语法树。对语法树进一步进行分析，类似程序编译器的语义分析，对语法合格的进一步进行检查。优化器对语法树应用各种规则，生成不同的执行计划，形成一个搜索空间。 Trafodion简介 Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库，它完全开源免费。Trafodion能够完整地支持ANSI SQL，并且提供ACID事...

    DevYK 评论0 收藏0

  • Apache Trafodion技术架构介绍

    摘要：它主要包括以下几部分采用对文本进行文法分析，生成语法树。对语法树进一步进行分析，类似程序编译器的语义分析，对语法合格的进一步进行检查。优化器对语法树应用各种规则，生成不同的执行计划，形成一个搜索空间。 Trafodion简介 Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库，它完全开源免费。Trafodion能够完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 评论0 收藏0

  • HBase基础

    摘要：回过头来看关系数据库，虽然每个表只有两个维度，但可以通过表之间的关系来建立高维度属性来描述事物。属性识别属性可以唯一的确定一条数据在关系数据库中作为主键，在中作为。 HBase的读写流程设计 写数据：先预写日式WAL，和写入内容MemStore。WAL用来在节点宕机后恢复写入的数据。在MemStore写满后会写入磁盘，生成一个新的HFile，一旦写入不会再修改。一个列族有一个MemS...

    xfee 评论0 收藏0

发表评论

登陆后可评论

0条评论

IT那活儿

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<