spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topic名称和sql语句，后台读取自己配置好的内容字段反射成一个class并利用出入的sql对实时数据进行计算，这种情况下不会spark streaming的人也都可以方便的享受到实时计算带来的好处 spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命
阅读背景：
spark 学习记录 rdd 转 dataframe 写入mysql的示例
来源：互联网
分享到：
