阅读背景:

Hadoop之推测执行

来源:互联网 

最近在测试环境跑义务,有一部份义务涌现以下情形:


推测履行(Speculative Execution)是指在集群环境下运行MapReduce,多是程序Bug,负载不均或其他的一些问题,致使在一个JOB下的多个TASK速度不一致,比如有的义务已完成,但是有些义务可能只跑了10%,依据木桶原理,这些义务将成为全部JOB的短板,如果集群启动了推测履行,这时候为了最大限度的进步短板,Hadoop会为该task启动备份义务,让speculative task与原始task同时处置一份数据,哪一个先运行完,则将谁的成果作为终究成果,并且在运行完成后Kill掉另外一个义务。推测履行(Speculative Executi




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: