跳到主要内容

优化

HBase的flush(刷写)及compact(合并)机制​

Flush机制​

  • （1）当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M
<property>
   <name>hbase.hregion.memstore.flush.size</name>
   <value>134217728</value>
</property>
  • （2）当memstore中的数据时间超过1小时，会flush到磁盘
<property>
    <name>hbase.regionserver.optionalcacheflushinterval</name>
    <value>3600000</value>
</property>
  • （3）HregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%
<property>
    <name>hbase.regionserver.global.memstore.size</name>
    <value>0.4</value>
</property>
  • （4）手动flush
flush tableName

阻塞机制​

以上介绍的是Store中memstore数据刷写磁盘的标准，但是Hbase中是周期性的检查是否满足以上标准满足则进行刷写，但是如果在下次检查到来之前，数据疯狂写入Memstore中，会出现什么问题呢？会触发阻塞机制，此时无法写入数据到Memstore，数据无法写入Hbase集群。

  • memstore中数据达到512MB计算公式: hbase.hregion.memstore.flush.size*hbase.hregion.memstore.block.multiplier,hbase.hregion.memstore.flush.size刷写的阀值，默认是 134217728，即128MB。hbase.hregion.memstore.block.multiplier是一个倍数，默认 是4。

  • RegionServer全部memstore达到规定值: hbase.regionserver.global.memstore.size.lower.limit是0.95，hbase.regionserver.global.memstore.size是0.4，

    • 堆内存总共是 16G，
    • 触发刷写的阈值是：6.08GB
    • 触发阻塞的阈值是：6.4GB

Compact合并机制​

在hbase中主要存在两种类型的compac合并

minor compact 小合并

在将Store中多个HFile(StoreFile)合并为一个HFile

这个过程中，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高。

minor compact文件选择标准由以下几个参数共同决定：

<!--待合并文件数据必须大于等于下面这个值-->
<property>
    <name>hbase.hstore.compaction.min</name>
    <value>3</value>
</property>
<!--待合并文件数据必须小于等于下面这个值-->
<property>
    <name>hbase.hstore.compaction.max</name>
    <value>10</value>
</property>
<!--默认值为128m,
表示文件大小小于该值的store file 一定会加入到minor compaction的store file中
-->
<property>
    <name>hbase.hstore.compaction.min.size</name>
    <value>134217728</value>
</property>
<!--默认值为LONG.MAX_VALUE，
表示文件大小大于该值的store file 一定会被minor compaction排除-->
<property>
    <name>hbase.hstore.compaction.max.size</name>
    <value>9223372036854775807</value>
</property>

触发条件

  • memstore flush： 在进行memstore flush前后都会进行判断是否触发compact
  • 定期检查线程：周期性检查是否需要进行compaction操作,由参数：hbase.server.thread.wakefrequency决定，默认值是10000 millseconds

major compact 大合并

  • 合并Store中所有的HFile为一个HFile

这个过程有删除标记的数据会被真正移除，同时超过单元格maxVersion的版本记录也会被删除。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

  • major compaction触发时间条件
<!--默认值为7天进行一次大合并，-->
<property>
    <name>hbase.hregion.majorcompaction</name>
    <value>604800000</value>
</property>
  • 手动触发
##使用major_compact命令
major_compact tableName

Region 合并​

Region的合并不是为了性能，而是出于维护的目的。

  • 通过Merge类冷合并Region
hbase org.apache.hadoop.hbase.util.Merge student \
student,,1595256696737.fc3eff4765709e66a8524d3c3ab42d59. \
student,aaa,1595256696737.1d53d6c1ce0c1bed269b16b6514131d0.
  • 通过online_merge热合并Region
与冷合并不同的是，online_merge的传参是Region的hash值，而Region的hash值就是Region名称的最
后那段在两个.之间的字符串部分。
需求：需要把lagou_s表中的2个region数据进行合并：
student,,1587392159085.9ca8689901008946793b8d5fa5898e06. \
student,aaa,1587392159085.601d5741608cedb677634f8f7257e000.
需要进入hbase shell：
merge_region
'c8bc666507d9e45523aebaffa88ffdd6','02a9dfdf6ff42ae9f0524a3d8f4c7777'