2)使用组件的并行度代替线程池
Storm自身是一个分布式的多线程框架,对每个Spout和Bolt,我们都可以设置其并发度,也支持通过rebalance命令来动态调整其并发度,把负载分摊到多个Worker上。如果自己在组件内部采用线程池做一些计算密集型的任务,比如JSON解析,有可能使得某些组件的资源消耗特别高,其他的又很低,导致Worker之间资源消耗不均衡,这种情况在组件的并行度比较低的时候更明显。比如某个Bolt设置了1个并行度,但在Bolt中又启动了线程池。这样导致的一种后果就是集群中分配了这个Bolt的Worker进程可能会把机器的资源都消耗光了,影响到其他Topology在这台机器上的任务的运行。如果真有计算密集型的任务,我们可以把组件的并发度调大点,Worker的数量也相应提高,让计算分配到多个节点上。 Storm自身是一个分布式的多线程框架,对每个Spo