class="kwhl">class="replace_word" title="Hbase知识库" href="http://lib.csdn.net/base/hbase" target="_blank">Hbase hbck
[plain] class="kwhl">class="ViewSource" title="view plain" href="http://blog.csdn.net/liliwei0213/article/details/53639275#">view plain class="kwhl">class="CopyToClipboard" title="copy" href="http://blog.csdn.net/liliwei0213/article/details/53639275#">copy
class="kwhl">class="tracking-ad" data-mod="popu_167">class="kwhl">class="tracking-ad" data-mod="popu_170">
- class="kwhl">class="alt">新版本的 hbck 可以修复各种错误,修复选项是:
- class="kwhl">class="">(1)-fix,向下兼容用,被-fixAssignments替代
- class="kwhl">class="alt">(2)-fixAssignments,用于修复region assignments错误
- class="kwhl">class="">(3)-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。
- class="kwhl">class="alt">(4)-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题
- class="kwhl">class="">(5)-fixHdfsOrphans,修复Orphan region(hdfs上面没有.regioninfo的region)
- class="kwhl">class="alt">(6)-fixHdfsOverlaps,修复region overlaps(区间重叠)问题
- class="kwhl">class="">(7)-fixVersionFile,修复缺失hbase.version文件的问题
- class="kwhl">class="alt">(8)-maxMerge <n> (n默认是5),当region有重叠是,需要合并region,一次合并的region数最大不超过这个值。
- class="kwhl">class="">(9)-sidelineBigOverlaps ,当修复region overlaps问题时,允许跟其他region重叠次数最多的一些region不参与(修复后,可以把没有参与的数据通过bulk load加载到相应的region)
- class="kwhl">class="alt">(10)-maxOverlapsToSideline <n> (n默认是2),当修复region overlaps问题时,一组里最多允许多少个region不参与
- class="kwhl">class="">由于选项较多,所以有两个简写的选项
- class="kwhl">class="alt">(11) -repair,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
- class="kwhl">class="">(12)-repairHoles,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
- class="kwhl">class="alt">
- class="kwhl">class="">
- class="kwhl">class="alt">
- class="kwhl">class="">新版本的 hbck
- class="kwhl">class="alt">(1)缺失hbase.version文件
- class="kwhl">class=""> 加上选项 -fixVersionFile 解决
- class="kwhl">class="alt">(2)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中
- class="kwhl">class=""> 加上选项 -fixAssignments 解决
- class="kwhl">class="alt">(3)如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有
- class="kwhl">class=""> 加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录)
- class="kwhl">class="alt">(4)如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有
- class="kwhl">class="">加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录)
- class="kwhl">class="alt">(5)如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了
- class="kwhl">class="">加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign
- class="kwhl">class="alt">(6)如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务
- class="kwhl">class="">加上选项 -fixMeta 解决,删除META表中的记录
- class="kwhl">class="alt">(7)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务
- class="kwhl">class="">加上选项 -fixAssignments 解决,assign这个region
- class="kwhl">class="alt">(8)如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了
- class="kwhl">class="">加上选项 -fixAssignments 解决,undeploy这个region
- class="kwhl">class="alt">(9)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了
- class="kwhl">class="">加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region
- class="kwhl">class="alt">(10)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符
- class="kwhl">class="">加上选项 -fixAssignments 解决
- class="kwhl">class="alt">
- class="kwhl">class="">(11)region holes
- class="kwhl">class="alt">需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中添加这个region的相关信息
- class="kwhl">class="">(12)region在hdfs上面没有.regioninfo文件
- class="kwhl">class="alt">-fixHdfsOrphans 解决
- class="kwhl">class="">(13)region overlaps
- class="kwhl">class="alt">需要加上 -fixHdfsOverlaps
- class="kwhl">class="">
- class="kwhl">class="alt">
- class="kwhl">class="">说明:
- class="kwhl">class="alt">(1)修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
- class="kwhl">class="">(2) -fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题
- class="kwhl">class="alt">(3)-fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息
- class="kwhl">class="">(4)-repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
- class="kwhl">class="alt">
- class="kwhl">class="">新版本的hbck从(1)hdfs目录(2)META(3)RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并repair
示例:
[plain] class="kwhl">class="ViewSource" title="view plain" href="http://blog.csdn.net/liliwei0213/article/details/53639275#">view plain class="kwhl">class="CopyToClipboard" title="copy" href="http://blog.csdn.net/liliwei0213/article/details/53639275#">copy
class="kwhl">class="tracking-ad" data-mod="popu_167">class="kwhl">class="tracking-ad" data-mod="popu_170">
- class="kwhl">class="alt">查看hbasemeta情况
- class="kwhl">class="">hbase hbck
- class="kwhl">class="alt">1.重新修复hbase meta表(根据hdfs上的regioninfo文件,生成meta表)
- class="kwhl">class="">hbase hbck -fixMeta
- class="kwhl">class="alt">2.重新将hbase meta表分给regionserver(根据meta表,将meta表上的region分给regionservere)
- class="kwhl">class="">hbase hbck -fixAssignments