六万字！Spark Core、Spark SQL、Spark Streaming一锅端

目录 一、什么是Spark？ 介绍 特点 与MapReduce相比 技术栈 二、Spark架构 运行架构 核心组件 三、Spark Core RDD 概念 特性 RDD依赖关系 DAG 分区 Shuffle过程 RDD创建方式 算子 常用的转换算子(Scala版) 常用的转换算子(Java版) 常用的动作算子(Scala) RDD持久化 RDD共享变量 RDD分区设计 数据倾斜 示例：WordCount 四、Spark SQL Shark：Spark SQL前身 架构 运行原理 Catalyst优化器 API DataSet（Spark 1.6+） DataFrame（Spark 1.4+） 常用算子 聚合聚合Agg 示例 窗口函数 正则匹配 UDF定义与使用 UDAF的定义与使用 UDTF的定义与使用 操作外部数据源 Spark To MySQL Spark To Hive Spark To HDFS 四、Spark Streaming 1.介绍 特点 什么是(数据)流 为什么需要流处理 流处理的应用场景 常用流处理框架 2.流数据处理架构 3.内部工作流程 4.StreamingContext 5.流数据类型：DStream 6.Input DStreams与接收器（Receivers） 7.流式数据源创建方法 8.DStream支持的转换算子 9.DStream输出算子 10.优化策略 演示一：将端口做为数据源 演示二：指定Kafka做为数据源 演示三：时间窗口示例 目录 一、什么是Spark？ 介绍 特点 与MapReduce相比 技术栈 二、Spark架构 运