对NC市的卡口数据进行分析，大概所有卡口每15秒接入的有效数据在3000条左右，现在产品经理要求对这些数据进行拥堵分析，通过两个卡口之间的车辆行驶时长来判断道路的拥堵情况。具体算法不展开。其中我需要做的是用Spark Streaming把Kafka的数据接进来，然后根据卡口数据中的车牌和经过时间找到之前的过车记录，取出时间差，即为该路段的一条行驶时长，根据路段编码求时长的平均值。对NC市的卡口数据进行分析，大概所有卡口每15秒接入的有效数据在3000条左右，现在产品经理要
阅读背景：
实时计算DStream下求平均值（reduceByKey or combineByKey）
来源：互联网
分享到：
