前言

在数据仓库中，ETL最基础的步骤就是从数据源抽取所需的数据，这里所说的数据源并非仅仅是指数据库，还包括excel、csv、xml等各种类型的数据接口文件，而这些文件中的数据不一定是结构化存储的，比如各种各样的报表文件，往往是一些复杂的表格结构，其中不仅有我们需要的数据，还有一些冗余的、无价值的数据，这时我们就无法直接用一般数据加载工具直接读取入库了。也许你会想，数据源导出文件前先处理好数据就行了。然而，实际开发中数据源往往是多个的，而且涉及到不同的部门甚至公司，这其间难免会出现各种麻烦，甚至有些数据文件还是纯手工处理的，不一定能给到你满意的数据格式。所以我们不讨论谁该负责转换的问题，这里主要介绍如何使用在数据仓库中，ETL最基础的步骤就是从数据源抽取所需的数据，这里所说的数据源并