阅读背景:

非mapreduce生成Hfile,然后导入hbase当中

来源:互联网 

最近一个群友的boss让研讨hbase,让hbase的入库速度到达5w+/s,这可愁逝世了,4台个人电脑组成的集群,多线程入库调了好久,速度也才1w左右,都没有到达幻想的那种速度,然后就想到了这类方法,但是网上多是用mapreduce来实现入库,而现在的需求是实时入库,不生成文件了,所以就只能自己用代码实现了,但是网上查了很多资料都没有查到,最后在一个网友的指引下,看了源码,最后找到了生成Hfile的方法,实现了以后,发明单线程入库速度才到达1w4左右,和之前的多线程的全速差不多了,百思不得其解之时,调剂了一下代码把列的Byte.toBytes(cols)这个办法调剂出来只做一次,速度立马就到3w了,晋升非常显著,这是我的电脑上的速度,估量在它的集群上能更快一点吧,下面把代码和大家分享一下。最近一个群友的boss让研讨hbase,让hbase的入库速度到达5w+/s,这可愁逝世了,4台个人




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: