有这么一个大表假设数亿条记录,纯数据文本百Gb以上,批量读取的话咋整?
SQLLoader,算是一个选择吧。嗯,开并行,数据表本身也许已经partition过了。可是如果自己批量unload数据应该怎么做呢?多线程并行是个好主意,但是怎么并行呢?如果你在想什么数字主键均分的想法,那你也许不会有好的结果。原因,主键的值域范围不一定是均匀分布的,这会造成你某些工作线程很忙,有些却草草结束了。深层次的原因,你也许会碰到不同线程同时争用同一块数据文件的情况,这不是也许,可以说是肯定会发生的。那还有更直接的方法吗?不幸的是,还真有!SQLLoader