Re: [请益] 生涯发展 数据/资料工程师

楼主: pelicanper (派立肯)   2021-06-11 20:30:04
※ 引述《joyste0102 (Joyce)》之铭言:
: 晚安,大家,不好意思有以下生涯发展想请问:
: 朋友商管背景,工作大概3年,想转职Data analysis/data engineering或是偏backend的工作,请问各位转职大神有什么建议呢?
: 目前有几个想法是这样:
: 1. 不要去考研究所,成本太高也不太需要。
: 2. 去上线上课程Python跟Database开始测试自己的兴趣,然后一路上到data visualization之类的。
: 3. 去Bootcamp。Alpha Camp只有Full stack似乎不太适合?要去App Works?还有其他的吗?Hahow有什么好课程推荐吗?
: 另想询问各位推荐几件事情:
: 1. 台湾的线上或是实体课程。英文程度OK,但还是希望以中文先入手,然后有人可以问可以讨论最好。目前有在上班,现在是淡季可以晚上上线上,不排斥两三个月后辞职准备。
: 2. 课程地图。想请问自己在家上MOOC的话,应该是怎样的顺序然后才去衔接比方说App Works的Boot camp呢?比较不希望一张白纸就去上,上之前的前期工作要准备好。所以我才会开Python基本语法然后DB,但是到Data Visualization的中间,还有哪些东西可以上MOOC的呢?
: 非常感谢大家的协助,谢谢~
:
作者: sextitanic   2021-06-12 00:25:00
比较好奇a跟b的id的关系,为何不是 a.id = b.a_id
作者: chocopie (好吃的巧克力派 :))   2021-06-12 00:45:00
10楼的方向有点接近了
作者: lairrol (小黑)   2021-06-11 20:34:00
data sourece 量大又要即时 搬到哪个领域都是大问题
作者: kokolotl (nooooooooooo)   2021-06-11 20:35:00
一般招DS都是考这类题目吗
作者: lairrol (小黑)   2021-06-11 20:36:00
羡慕这个使用量 小弟还没摸过 Tb 等级的量...
作者: kokolotl (nooooooooooo)   2021-06-11 20:42:00
原来如此~ 感谢
作者: Apache (阿帕契)   2021-06-11 21:00:00
酷欸
作者: chocopie (好吃的巧克力派 :))   2021-06-11 21:19:00
inner join 考题感觉很有趣
作者: yoche2000 (Sushi Desu! 在下寿司)   2021-06-11 21:29:00
受教了 推
作者: drajan (EasoN)   2021-06-11 23:14:00
这个inner join我看不出来哪里有问题,求教你问的问题需要一个有几年经验的ML/Data工程师才回答的出
作者: x246libra (楓)   2021-06-11 23:24:00
我也想知道inner join有什么问题,是否还要知道,ab各别资料才能看出问题?
作者: everglows (jm)   2021-06-11 23:24:00
真好奇这样的问题考得出鉴别度吗ds面试超难准备 很广又因应不同的面试者 会有不同问题之前onsite 其中一轮的interivwer只问我电脑配备是什么怎么处理内存有效使用的问题 没错就这样而已老实说 问个很偏的题目 在否定candidate的实力不是很认同 要说实务上会遇到就算了要jr role就问观念基础 跟测验程式能力sr role就直接问实际接触到的case or case study到底是要考倒candidate还是知道测试实力?有时候该准备都准备了 题也刷了 被问到很偏的问题答不出来 真的内心很干Orz
作者: kokolotl (nooooooooooo)   2021-06-11 23:34:00
是不能接受select * 吗 ,求解
作者: Nonsense8 (胡说)   2021-06-12 02:33:00
1 to 1 relationship?
作者: wahaha279 (哇哈哈:3)   2021-06-12 02:47:00
如果用id当外键,可以重新审视一下为什么要分两个table。
作者: drajan (EasoN)   2021-06-12 02:49:00
Star schema吧
作者: expiate (夜露死苦)   2021-06-12 04:19:00
对我来说你比较需要的是data engineer而不是DS
楼主: pelicanper (派立肯)   2021-06-12 04:37:00
就这个inner join问题是,但是上面原文就不只这个问题只能做DS的DS对我们来说只是一种理想哇哈哈
作者: Apache (阿帕契)   2021-06-12 04:40:00
不然找个会DS的DE好了
楼主: pelicanper (派立肯)   2021-06-12 04:44:00
来应征的都说会啊@@还有履历Web到ML全包的我就是看了人资给我Short List的履历才决定这样考
作者: loveu8 (RA1-推广)   2021-06-12 10:07:00
哈 看工作内容就真的很有趣,不过人员编制少真的有时候面临这么大资料量要处理时就会很辛苦去处理inner join 会面临许多问题在于大资料量的状况下l.两个资料的量体是不是太大,大到内存都无法放进去2.就算放进去内存里面,还会面临过于复杂的运算可能会有算不出来的状况3.若要一定得运算出结果,有时inner join产生资料遗失的部分,该怎么调整4.inner join 有时会改用 指定colume+sub query减少资料的输出,加快运算结果5.如果这个join结果是必须常使用,是不是要建立view给需要的单位去查看6.资源很重要,每一笔query都是钱,怎样花费最少的cost查出想要的结果,正确判断资料集该用怎么方式去获取7.分析join的必要性,有时需求单位给了一项议题很多自然会想要利用join去解决问题但有时资料的干净程度与内容很重要才不会白作工以上是偶尔协助资料分析的经验才会理解这个水很深,不是做完程式就没事无时无刻需要调整优化,并回馈真实结果,而改善真实世界我们面临问题,进而改善,是这门技术存在之需求只是想进去的人很多。在里面的人 说不出里面的苦等入门后,大家一起跳坑了XD
作者: sammythekid (山米乐其得)   2021-06-12 17:36:00
架构上就有问题了,怎么能够在online service queryloveu8大大讲得太中肯。调整优化回馈结果&改善
作者: bowin (尽其在我)   2021-06-12 22:06:00
感谢你的精辟分享。可惜若没有对PhD的偏见就更好了
作者: sammythekid (山米乐其得)   2021-06-12 23:54:00
总之还是感谢分享。抱歉这样推文会有误会。感谢分享
作者: endlesswalk (戴耳塞又戴耳机)   2021-06-14 13:51:00
select不能用*取全部字段是因为有时候会取太多资料回来导致DB爆炸吗?前公司甚至还规定不能用join(前公司是国内知名大电商)
作者: yiche (你若安好,便是晴天)   2021-06-26 10:25:00
confusion matrix 没特别背这么多metric 反正要用google都有,这心态参加面试是可以的吗

Links booklink

Contact Us: admin [ a t ] ucptt.com