|
|
|
| ETL数据加载工具 |
 |
信息是现代企业的宝贵资源，是企业运用科学管理、决策分析的基础。目前，大多数企业都在致力于企业信息化，但是快速增长的数据量与实际利用率的差距形成了鲜明的对比，没有最大化的利用已存在的数据资源，都将浪费更多的时间和资金，也失去制定关键商业决策的最佳契机。因此需要构建一个完整的、准确的、统一视角的数据平台，即DW(Data warehousing)，而构建DW的关键过程就离不开ETL。
ETL是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。
ETL工具是我公司自主研发实现ETL过程的软件，该软件不受操作系统限制，可以跨平台跨服务器对数据进行操作，很好的支持了Sybase下ASE数据库和IQ数据仓库之间的ETL过程。
ETL工具结构图
ETL的工作环境及特点
- ETL工具采用java语言编程，在JDK1.4以上版本下运行；
- 系统资源占用少，空闲时几乎不占用资源；
- 不受操作系统限制；
- 支持各种数据库的连接；
- 灵活定制各种ETL过程；
- 可以自动调度任务也可手工执行任务；
- 任务操作简单，通过输入任务指令就可执行任务；
- 通过中间文件进行数据的加载，不占用数据库空间；
ETL工具的组成:
- 服务端：ETL工具的核心，接受来自客户端的任务，定期执行调度任务。
- 服务端：ETL工具的核心，接受来自客户端的任务，定期执行调度任务。
ETL调度
- 可按照时间周期进行调度，用户可设置为按年、按月、按周、按星期、按日、按时等。
- 可设置调度参数，当符合用户所定义参数的条件时进行ETL调度。
ETL的管理
- 对ETL任务的进行定制、修改、维护；
- 手动执行ETL任务；
- 察看ETL状态；
|
|
|
|
