“准实时数仓”设计方案

         目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案；实时数仓一般是分钟级别甚至更短的时间内的ETL方案。实时数仓一般是将上游业务库的数据通过binlog等形式，实时抽取到Kafka，进行实时ETL。但目前主流的实时数仓也会细分为两类，一类是标准的实时数仓，所有的ETL过程都通过Spark或Flink等实时计算、落地，也就是说数据从binlog抽取到kafka，后续所有的ETL都是读取kafka、计算、写入kafka的形式串联起来的，这种符合完整的数仓定义；还有一类是简化的实时数仓，ETL简化为有限的两层，binlog落地到kafka之后，Spark或Flink读取kafka计算完指标后落地HBase等存储供外部查询分析，当然也有通过Kylin或Druid来完成指标计算的。         目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案；实时数