阅读背景:

spark2.0系列《一》—— RDD VS. DataFrame VS. DataSet

来源:互联网 

  虽说,spark我也不陌生,之前一直用python跑的spark,基本的core和SQL操作用的也是比较熟练。但是这一切的基础都是在RDD上进行操作,即使是进行SQL操作也是将利用SpaekContext类中的textFile方法读取txt文件返回RDD对象,然后使用SQLContext实例化载利用函数createDataFrame将格式化后的数据转化为dataFrame或者利用createDataset将数据转换为dataset。真不是一般的麻烦。。。话不多说,比如以下python代码示例:  虽说,spark我也不陌生,之前一直用python跑的spark,基本的core和SQL操




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: