文章目录
基于阿里云的数据仓库架构设计
产品对比
离线数仓
实时数仓
基于阿里云的数据仓库架构设计
产品对比
阿里云产品
同类产品
简介
RDS
MySQL、PostgreSQL
关系型数据库服务,是阿里提供的云数据库,有各种版本,例如MySQL版、PostgreSQL版、SQLServer版等
DTS
Canal、DataX、Sqoop、Flume
数据传输服务,功能丰富,包括集数据迁移、数据订阅、数据实时同步的功能,适用于RDMS、NoSQL、大数据等产品
DataHub
Kafka
数据总线,主要功能和Kafka类似,但是有更多的接口、功能
MaxCompute
Hadoop
通用的离线计算平台(原名ODPS),支持SQL、MapReduce、UDF、Graph、Spark on MaxCompute等计算模型。调度系统是伏羲,存储系统是盘古
RealtimeCompute
Spark、Flink
实时计算框架(以前版本是StreamCompute),底层基于Blink
DataWorks
-
可视化的一站式大数据工场,包括数据集成、开发、治理、服务、质量、安全等功能,具体地说就是方便你使用MaxCompute、RealtimeCompute
AnalyticDB
GreenPlum、LibrA
分析型数据库,基于MPP架构,主要包括MySQL版、PostgreSQL版
DataV
Tableau、PowerBI
可视化数据展示工具,主要做大屏展示
QuickBI
Tableau、PowerBI
相较于DataV更为灵活,主要做数据分析,运营、分析师使用较多
离线数仓
架构设计图
基于阿里云的数据仓库架构设