Re: [请益] 征才条件需要懂ETL

楼主: pelicanper (派立肯)   2016-11-10 13:14:29
※ 引述《sky800507 (B翰)》之铭言:
: 想请问一下各位前辈,小弟在许多职缺上面都会看到需要懂ETL,一般业界认定的懂ETL的
: 标准大概怎么看? 有推荐学习的书籍或管道吗,感谢!!
ETL有的时候也可以是ELT,要怎么做说实在要看施作的环境
Data Warehousing有几种不同的模式,尤其是现在需求和支援的软件都越来越复杂
比较成熟的像是Kimball的Dimension Modeling,大部分搭配Wherescape Red
和MS SQL Server,重点是要把Slow Changing Dimension的观念搞懂
Informatica是属于比较弹性的软件,不会像Wherescape Red跟Kimball绑得那么死
作为ETL,Data Quality,Data Management都不错,但是缺点是Informatica用的是
Pipeline模式,很多时候效能并不是很好,但是V10以后有Big Data模组可以像是
Scheduler软件(像是ActiveBatch)一样跑在别的平台上,尤其是Hadoop
是可以解决一些效能的问题...
ETL最难的部分是怎么样可以产生适当的Data Granularity
譬如说给每月和每周的Fact Table可能在ETL的过程中截然不同
Staging做得太鸟也有可能造成数据库负担太重
我个人觉得这个领域需要蛮长一段时间去看到全部的面向
能真的请到ETL的高手是公司的福气
作者: sky800507 (B翰)   2016-11-10 13:42:00
(作笔记),感谢分享
作者: neo5277 (I am an agent of chaos)   2016-11-10 14:32:00
推分享
作者: drajan (EasoN)   2016-11-10 18:09:00
ETL有很多面向 单纯论datawarehousing 可以用Apache Kylin
作者: kenshin528 (成立奥凶帝国!!)   2016-11-11 09:44:00
ETL 很广的 而且你说的工具有些小公司也不会用

Links booklink

Contact Us: admin [ a t ] ucptt.com