Data Engineer是属于比较上游的工作
早期relational database当道的时候,DE的工作主要是整合Data Sources
到Data Warehouse,所以像是金融界很常用的Mainframe SAS,或是SQL Server
IBM DB2等等,DE通常都要会数据库语言外加一些ETL的知识
像是SQL, SAS, kimball model等等, 对于Physical数据库也至少要有一定程度的理解
不过近年来因为Big Data的趋势,很多传统的ETL的缺点像是开发维护的时间人力
无法大量处理即时资料或是unstructured data, staging 太过复杂等等问题
很多企业都导向更现代化的数据库,最近窜起的Snowflake就是其中一个例子
跟Google Big Query类似,两者都是凭借云端储存和处理速度的优势去快速且大量处理
各种不同的资料,譬如你可以直接在Query里面连结SQL Server和Google Sheet
不需要透过ETL,最近又有一些新的云端服务可以直接Pipeline到Snowflake
Alooma就可以直接让你连像是Salesforce, Marketo, Google Analytics等等
用Python的Code Engine直接把最后的资料输出到Snowflake
最重要的这是Realtime...
讲这么多就是要表达DE这个工作也一直再转变,现在有一种说法就是
Business Intelligence也慢慢走下坡,因为现在的科技也不需要去养一个BI Team
对DE有兴趣可以先多多了解产业的需求和趋势,不过好的DE还是要对传统DB,ETL
和新的Cloud Storage都有所涉猎,而且这应该无法速成...
※ 引述《sssh5566 ()》之铭言：
: 之前听一堆广告说ML的缺很多就入坑了
: 但爬了一堆文被一堆人劝退找data scientist 的工作
: 朋友推荐可以找看看Data Engineer
: 目前正在考虑中
: 也在考虑报名这间Bootcamp
:
:
:
:
: 课表大概长这样
: 朋友是说SQL sparks Hadoop AWS
: 这些对找data Engineer的工作有帮助
: 但是由于之前都在接触Machine learning、deep learning的东西
: 只知道怎么调参数和建model而已
: 也不太清楚是否SQL Sparks Hadoop Aws这些东西是否有趣
: 以及更重要的是，能否训练一两个月后就能找到工作
: 想问下北美 Data Engineer的职缺是否和Front-end一样
: 很容易让非本科系受训后转行?
: (没身分问题)
: 毕竟念web dev的几乎每个去受训后3~6个月都能保障找到工作
: 但爬文Data Engineer无论是中文还是英文资料都挺少的
: 有点不懂既然Data Scienist 门槛那么高，为何还一堆bootcamp、MOOC、线上课程?