spark笔记之通过spark实现点击流日志分析案例

1． 拜访的pv

package cn.itcast

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object PV {
  def main(args: Array[String]): Unit = {
        //todo：创立sparkconf，设置appName
        //todo:setMaster("local[2]")在本地摹拟spark运行 这里的数字表现 应用2个线程
        val sparkConf: SparkConf = new SparkConf().setAppName("PV").setMaster("local[2]")
        //todo:创立SparkContext
        val sc: SparkContext = new SparkContext(sparkConf)
        //todo:读取数据
        val file: RDD[String] = sc.textFile("d:\data\access.log")
        //todo:将一行数据作为输入，输出("pv",1)
        val pvAndOne: RDD[(String, Int)] = file.map(x=>("pv",1))
        //todo:聚合输出
         val totalPV: RDD[(String, Int)] = pvAndOne.reduceByKey(_+_)
         totalPV.foreach(println)
         sc.stop()
  }
}
package cn.itcast

import org.apache.spa