etl怎么用

ETL工具的典型代表有：Informatica、Datastage、OWB、微软DTS、Beeload、Kettle、久其ETL……

开源的工具有eclipse的etl插件：cloveretl

数据集成：快速实现ETL

ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括：业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。

实现ETL，首先要实现ETL转换的过程。体现为以下几个方面：

1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。

2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。

3、拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。

4、验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。

5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。

6、Lookup：查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。

7、建立ETL过程的主外键约束：对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

随着信息技术爆炸性发展，智能终端，智能穿戴设备，无人驾驶汽车等等，都宣告大数据的时代已经来临！学习成长为一名处理数据的BI工程师是实现梦想的绝佳途径！

如何入门呢？首先要有数据库基础，选择一门主流的数据库（ORACLE,DB2,SQLSERVER）学习基本的SQL开发，掌握存储过程，函数，包，SQL调优等。其次就要会一个主流的BI工具，常见后台ETL工具如：DATASTAGE,INFORMATICA,KETTLE等，主流前台报表工具如BIEE,COGNOS,BO，当然也有国产的像润乾等。之后就是要了解BI中常用的概念如：事实表，维表，切片，上钻下取，缓慢变化维，代理键等。

要

熟练掌握这些工具，就要在项目中去大量的练习啦，只有通过项目的实践才能深刻体会BI的这些概念及其精髓。之后有了几年的经验就可以向某个行业去深入学习

业务知识做ETL顾问，或者向数据挖掘方向深究！这个过程自学的话要很久，要想在很短的时间入门，找家有实力的机构去通过项目实践就很有必要啦。国内专注

这块的有深圳的融通学苑，北京的思数，你可根据自身情况作出选择。

对于数据仓库以及ETL的知识，我基本上是个门外汉。一切都得从头开始，记个笔记，方便自已了解学习进度。

首先，我们来了解最基本的定义：

嗯，也有人将ETL简单称为数据抽取。至少在未学习之前，领导告诉我的是，你需要做一个数据抽取的工具。

其实呢，抽取是ETL中的关键环节，顾名思义，也就将数据从不同的数据源中抓取（复制）出来。

太简单了！上面的解释无首无尾，有点象能让你吃饱的第七个烧饼，

仔细一想，抽取是不可能单独存在，我们需要将与之关联的一些其它环节拿出来。

于是，得到ETL的定义：

将数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。

好的，既然到了这一个层次，我们完全会进一步展开联想，引出上面这个抽象事件的前因后果，

抽取源：大多数情况下，可以认为是关系数据库，专业一点，就是事务处理系统（OLTP）。当然，广义一点，可能会是其它数据库或者是文件系统。

目的地：OK，我们希望是数据仓库。数据仓库是啥？在学习之前，它对我来说是个抽象的怪物，看过一些简单的资料之后，才了解这个怪物一点都不怪。堆积用来分析的数据的仓库。是了，是用来分析的，于是，它区别于OLTP中的数据存储。

在我看来，有两个原因。

一：性能 将需要分析的数据从OLTP中抽离出来，使分析和事务处理不冲突。咦？这不是数据仓库的效果吗？是了，

数据仓库，大多数情况下，也就是通过ETL工具来生成地。

二：控制 用户可以完全控制从OLTP中抽离出来的数据，拥有了数据，也就拥有了一切。

嗯，OLAP分析，数据挖掘等等等……。

最后，总结一下，

嗯，时不我待，我没有办法一切从头开始，

鸭子要变成一盘菜，并不是举手将之置于油锅之劳。

ETL,Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。

一般随着业务的发展扩张，产线也越来越多，产生的数据也越来越多，这些数据的收集方式、原始数据格式、数据量、存储要求、使用场景等方面有很大的差异。

数据抽取是指把ODS源数据抽取到DW中，数据拉取，清洗完之后，就需要展示了。一般是把清洗好的数据加载到mysql中，然后在各系统中使用，或者使用Tableau直接给相关人员展示。元数据管理系统对于数据仓库来说是必须的，并且相关人员必须定时维护，如果元数据和数据仓库中的变动不同步，那么元数据系统就形同虚设。

扩展资料

ETL所描述的过程，一般常见的作法包含ETL或是ELT，并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库，愈偏向使用ELT，以便运用目的端数据库的平行处理能力。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， 是商业智能项目重要的一个环节。

参考资料：百度百科-ETL