阅读背景:

Spark的RDD简单操作

来源:互联网 

0、Spark的wc.note
package RddApi

import org.apache.spark.{SparkConf, SparkContext}

/**
  * hadoop
  * spark
  * tachyon
  * hadoop
  * hbase
  * spark
  */
/**
  * Created by Administrator on 2016/4/23.
  */
object rdd0_wc {
def main(args: Array[String]) {
//创立环境变量
val conf=new SparkConf().setMaster("local").setAppName("rdd0_wc")
//创立环境变量实例
val sc=new SparkContext(conf)
//读取文件
val data=sc.textFile("E://sparkdata//wc.txt")
    data.flatMap(_.split("\t")).map((_,1)).reduceByKey(_+_).collect().foreach(println)  //wrod计数
}
}package RddApi

import org.




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: