※ 引述《sky800507 (B翰)》之铭言:
: 想请问一下各位前辈,小弟在许多职缺上面都会看到需要懂ETL,一般业界认定的懂ETL的
: 标准大概怎么看? 有推荐学习的书籍或管道吗,感谢!!
ETL有的时候也可以是ELT,要怎么做说实在要看施作的环境
Data Warehousing有几种不同的模式,尤其是现在需求和支援的软件都越来越复杂
比较成熟的像是Kimball的Dimension Modeling,大部分搭配Wherescape Red
和MS SQL Server,重点是要把Slow Changing Dimension的观念搞懂
Informatica是属于比较弹性的软件,不会像Wherescape Red跟Kimball绑得那么死
作为ETL,Data Quality,Data Management都不错,但是缺点是Informatica用的是
Pipeline模式,很多时候效能并不是很好,但是V10以后有Big Data模组可以像是
Scheduler软件(像是ActiveBatch)一样跑在别的平台上,尤其是Hadoop
是可以解决一些效能的问题...
ETL最难的部分是怎么样可以产生适当的Data Granularity
譬如说给每月和每周的Fact Table可能在ETL的过程中截然不同
Staging做得太鸟也有可能造成数据库负担太重
我个人觉得这个领域需要蛮长一段时间去看到全部的面向
能真的请到ETL的高手是公司的福气