大数据最普遍的一个应用处景就是构建数据仓库，数据仓库中的数据性命周期一般包含：数据的获得，数据的分类，数据的解析清洗，上传到hdfs。或多或少，主要都是这几个进程，asiainfo这边的离线剖析的数据，通过远程接口机接入（文件或紧缩包的情势），部通过安排的可视化的etl工具（木兰工具），定时去扫描远程接口机的文件，然后开启ftp服务，ftp到本地，在进行解析，加工，入库。定时包含天级别，小时级别，分钟级别。
大数据最普遍的一个应用处景就是构建数据仓库，数据仓库中的数据性命周期一般包含：数据的获得，数据
阅读背景：
基于rsync+sersync数据实时双向同步的设计（一）
来源：互联网
分享到：
