Re: [请益] 想从零开始转行当AI软件工程师

楼主: alden (这真是太危险啦)   2021-11-12 05:42:12
我来散布一些正能量好了
小弟在FANG的英国的一个一直赔钱的AI子公司工作4+年了。
其实我觉得数学真的没那么重要,除非你是要做理论的。
又不是每个人都是Ian Goodfellow, Ashish Vaswani, 还是 David Silver.
就算是这些重要的工作,也不见得数学有很深吧?
我的数学只有高中程度而已,还是能follow他们的works.
(BTW, 我不是科班的。所以数学只有高中程度)
我的观察啦,能写出好的bug free code 比数学或统计好要来得更重要。
毕竟大家还是都在接水管。只有很少很少部分的人在improve水管。
怎么import tensorflow/pytorch/jax, 把该接的东西接一接其实比较实在。
所以说到底,还是刷题比较实在。先确定有基本的algo/ds的实力。
我看国外machine learning engineer / data scientist的opening
应该还是很多吧。
我的理解MLE的interview也是主要考leetcode XD
台湾的情况我就不清楚了。
ML还是满有趣的。希望有多一些人能加入。不要被一些自己默认的条件吓到了。
程式写好(python is good enough. I see nothing wrong with python)
会接基本的DL model. 有高中程度的机率,统计.
再刷一下Leetcode. 你也可以apply FANG 的MLE哦 XD
再多说一点,其他方面的能力也是很重要的。
基本的英文沟通,准备preso,和别人解释code/model的能力。
这些其实我都觉得比数学好要重要太多了。
当然,数学能好当然更好。这一直是我的痛点。
不过在大公司接水管真的不太有机会用到.
Just my 2 cents. :)
作者: niobafrog (NIOBA)   2021-11-12 06:11:00
该不会是DeepMind吧...跪
作者: empliu (善恶相杀)   2021-11-12 07:18:00
感觉原po隐藏蛮多重要讯息的原po的高中是建中 ...大学是台大 然后有 PhD 学位 = =这种重要背景资讯还是留一下 不然会误导人 ..
楼主: alden (这真是太危险啦)   2021-11-12 07:33:00
是建中,但不是台大。有PhD,但不是数学物理或CS... :p
作者: drajan (EasoN)   2021-11-12 07:57:00
数学不好真痛 小弟也是在英国FANG但不是直接做 modeling虽然 engineering这种工作也很重要 但就是感觉没有 research scientist或ML engineer这种双修的来得厉害如果“只是”engineering 的职位确实leetcode重要性要大于数学多的多了 毕竟能改变世界的模型就那些人在搞 基础的工程还是需要有人做
作者: KingSteven (HHung)   2021-11-12 09:18:00
DeepMind先跪……管他赔不赔钱,有神先跪再说……
作者: fr75 (阿巴 )   2021-11-12 09:54:00
原po有Phd 应该是国外大学的 不能这样推荐人 国外公司最爱找Phd的 尤其是研发类 人家看到一个phd想做水管工当然巴不得你进啊
作者: BigHeadDoggy (大头狗仔)   2021-11-12 10:22:00
会接基本的DL model. 有高中程度的机率,统计.再刷一下Leetcode. 你也可以apply FANG 的MLE哦 XD你知道自己在说什么吗
作者: stmilk (我男的)   2021-11-12 10:52:00
我没在那个世界待过我实在也不知道数学到底重不重要。“上帝关一扇门会开另一扇窗“,这句话不管是心灵层面还是实务层面都很实在,而且我不喜欢怨天尤人,所以我现在也是乖乖刷leetcode和补充现在一堆公司要求的distributionsystem的底,好险之前资料结构和算法其实读很多遍刷起来挺快乐的,不确定这条路是不是相对好的选择,但试试没损失。
作者: everglow (jm)   2021-11-12 11:31:00
这篇太乐观了 这正向到有点偏离现实太远了国外FANNG本来就很爱找phd不管有无跟AI相关的人来做ML而且你应该又是很早进入这个领域的 这样比较不太公平事实上 数学重要吗 很重要 但实务上要大量用到数学的缺根本少到可以
楼主: alden (这真是太危险啦)   2021-11-12 11:40:00
嗯。早个5年的bar真的低很多。而且台湾这个领域的求职看起来比国外竞争多了!
作者: everglow (jm)   2021-11-12 11:53:00
台湾是产业问题 ai无法做大 缺太少了不过我相信原po这么优秀 哪个时间点都可以相对容易找现在一堆都要leetcode 连DS考online assessment成常态了某方面来说 也是要刷leetcode ...
作者: DrTech (竹科管理处网军研发人员)   2021-11-12 12:34:00
连Google 在发很多重要论文,都没在用数学,还很多人一直把数学推导神话,没必要。做出效果来最重要啦,慢慢推什么数学。搞不好我甚至觉得,大家都是没靠数学做出效果,再来为了投稿堆出数学的。数学好不好,会不会推导,在业界真的是很微乎其微的重要。效果无法证实,在哪慢慢推数学理论,根本上不了台面。去搞传统BI,做统计都比做AI还更需要数学。工程师这三个字,就代表了,工程结果最重要了。要算数学可以去找科学家,研究员职缺。在哪慢慢推数学根本推不出来 BERT, Transformer之流的方法才是真的。Transformer模型架构为什么大放异彩,数学也证实不出来。这也是现况。实务结果证实后,发表时才会回去推数学。一般正常工程师,根本做不到这块。
作者: everglow (jm)   2021-11-12 13:19:00
很认同 所以面试在那边考推导准备证明根本有事吗
作者: kiwi946946 (kiwi)   2021-11-12 13:35:00
会考大概是面试者没有能呈现的做品经历,那面试官也只能考这个了
作者: recorriendo (孟新)   2021-11-12 13:38:00
Google是Google啊 它甚至发ethics论文大家也都抢著引用 用这个当判准很奇怪Transformer就是需要一点矩阵数学推导才能把self attention这个idea变成code啊 (不然就会变成很丑的nested for loop)当然接水管的是没差 不过说不懂数学就可以发明LSTM、Transformer太夸张了这串我觉得很多是talking past each other 大多数人提数学是这个层级的推导 可能这些对有PhD的大大们真的是像加减乘除一样简单 所以才会说不需要很多数学实际上相对普通SWE这确实是"很多"了
作者: empliu (善恶相杀)   2021-11-12 14:17:00
直接来看 Deepmind 的 publications 列表吧https://deepmind.com/research这里说的数学也不是说你数学要多强不过至少要不讨厌数学 而且最基本的那几科有学好
作者: humanfly (laguna@HEADSHOT)   2021-11-12 14:36:00
感谢大大的励志文
作者: DrTech (竹科管理处网军研发人员)   2021-11-12 15:36:00
所以到底你们版上谁的工作有在投论文的?比例是多少? 只会讲,拿出证据吧。谁在用 transformer时,会需要去推导数学,或推导了数学对工作实务有什么帮助?拿别人少数研究员的工作在说 个,AI工程师的工作需要数学,数学推导,有够奇怪。人家是要转行当 AI工程师,不是要转行当 AI科学家,AI界大牛耶。别人要当个普通 AI工程师,你们拿科学家的标准来强调:不要当科学家。跳针跳得太夸张。
楼主: alden (这真是太危险啦)   2021-11-12 15:45:00
推DrTech 重点还是工程师三个字
作者: DrTech (竹科管理处网军研发人员)   2021-11-12 15:46:00
如果今天标题是:如何转行当研究员,科学家。你们这些天天在强调数学的人才合理吧。
作者: stmilk (我男的)   2021-11-12 15:53:00
google那篇我是不知道正常工程师会理解到哪啦,我稍微看一下在有时间压力的情况下应该会先简单理解说:这个训练可以逼近他们那个定义的应该算可以接受的bias区间,然后定理一就是说这个算法得出来的东西就是会满足他们那个定义,定理二在说这个玩意儿还超屌的训练时还会有一个上界不会飘的太严重,虽然他们没有讨论这个上界够不够紧XD,所以应该还是有个前提是训练的模型存在。然后就实作了因为也不难XD这篇论文真的有够学术的,的确工程界根本不屌什么bias什么的,能上就好。工程界真的要讨论的话统计的bias定义又根本不能用,因为只有上帝才知道他们要找的pattern长什么样子哈哈哈这个在台湾要被实作出来应该还是要等某些英文很好的中国人(因为我看网络上好像中国人很热衷翻译这些东西)把它的步骤写出来,然后说一下心得才会有台湾人开始实作吧哈哈哈阿上面说的”训练模型存在”不太精确,精确地说是这个要找的问题的解存在,因为现实应用这个假设不一定成立XD解不存在那训练时就是放飞自我哪里都有可能跑了哈哈哈最后是可以理解这个在工程界应该应用不大因为一般的bias影响不会太严重,但对精度要求很重的工业(台积电?)可能就会需要了而这个训练除了剃度下降还要更新那两个我的理解应该可以算是限制函数的东西,这就是成本XD
作者: libitum (libitum)   2021-11-12 16:05:00
在讲什么东西啊 工程师=工程界? 工程界是什么??最好是一个AI engineer完全不考虑bias啦...台湾业界要不要实作为什么要等到中国人有人翻译跟心得啊有需求就会去做啊 心得国外一堆 英文又没那么难
作者: recorriendo (孟新)   2021-11-12 16:08:00
随便举个例子啦 pytorch要选optimizer 当然要懂点数学才能知道adam是在干嘛吧 除非你真的土法炼钢把所有选项都试一遍 那如果需要选择的地方有很多个 你的选项组合就指数级爆炸了 根本不可能一个一个试
作者: stmilk (我男的)   2021-11-12 16:08:00
好吧我道歉那样说不对,对不起。然后我也不要代表工程界好了至少我之前工作的地方不在乎。
作者: libitum (libitum)   2021-11-12 16:12:00
不在乎bias? 那你前公司拿什么来当evaluation metrics
作者: recorriendo (孟新)   2021-11-12 16:12:00
不然去stackoverflow去查哪个选项比较好 把答案背起来 解释都不管 (因为解释至少都牵扯一些数学) 是这样吗??
作者: stmilk (我男的)   2021-11-12 16:14:00
疴....你先去看论文我们再来讨论= =
作者: recorriendo (孟新)   2021-11-12 16:15:00
事实就是 就算只是AI engineer 工作上会碰到的数学一定比普通SWE多很多 这到底有什么好反驳的
作者: stmilk (我男的)   2021-11-12 16:18:00
楼上这不就长久以来要数学不要数学的大战吗XD
作者: Murasaki0110 (麦当劳欢乐送)   2021-11-12 16:20:00
我也在FANG, 最赌烂的就是没ML背景的MLE跑来问model为什么要吐array 不能吐dict吗
作者: Zoanthropy ($$)   2021-11-12 16:21:00
有拿来预测股价吗?
作者: stmilk (我男的)   2021-11-12 16:22:00
干楼上XDDDDDDD
作者: Murasaki0110 (麦当劳欢乐送)   2021-11-12 16:22:00
没人要你做research, 但这些基础都没有是要做啥
作者: recorriendo (孟新)   2021-11-12 16:22:00
原PO 我不是回你喔 你原文根本没提到Transformer、发paper
作者: pttano (pttano)   2021-11-12 16:38:00
说得好,原原po去巨匠过过水也稳领五六万起薪,哈哈
作者: recorriendo (孟新)   2021-11-12 16:43:00
原原PO问"从零开始"喔 确定机率、微积分、线代对他来说是基本吗??确实不知原原PO的背景 不过某Dr讲的好像就算文组转职AI都不用唸一点数学一样
作者: ohmylove347 (米特巴爾)   2021-11-12 17:17:00
Deepmind真的要跪了…可是这乐观的讲法不就像爱因斯坦说微积分考前翻一下就好了吗XD
作者: final01 (牛顿运动定律)   2021-11-12 18:43:00
deepmind还有其他台湾人??
作者: fallcolor (秋天走了)   2021-11-12 18:48:00
transformer里的核心self-attention的数学特性很多paper分析过了吧
作者: niobafrog (NIOBA)   2021-11-12 19:05:00
有点好奇原Po的实际工作内容,毕竟大家都知道DeepMind做为全世界顶尖的AI Company,工作内容是在focus的研究新领域并且发Top conference的论文吗? 还少那部分是只有特定的Researcher在进行呢? 谢谢抱歉 手机打字排版有问题,不好阅读
作者: aiueokaki   2021-11-12 19:12:00
这系列真的钓到神人了XD
作者: soccer103 (Ferrari)   2021-11-12 20:19:00
神人推 但太过幸存者症候群给箭头
作者: newhandfun (新手方)   2021-11-12 20:27:00
太乐观
作者: KingSteven (HHung)   2021-11-12 21:47:00
推文有些不是很认同。在AI领域,工程师跟科学家的界线有时候不该分这么开。工程师就不用懂AI的数学也是蛮不好的,有些数学你不懂,就等于是限制自己的天花板,更别提ICLR、NeurIPS也是很多数学推导的paper啊,这些都是对整体AI的演进是有帮助的,但写这些paper就只能是科学家?不一定吧…至少tier-1公司不会这样限制之前面西雅图微软的一个engineer职位,面试官也是要我当场推导softmax和cross-entropy的back propagation啊……
作者: Morphee (千磨万击还坚劲)   2021-11-12 22:04:00
这种大学等级的推导到底算啥么数学阿 笑死机率、微积分、线代不是都大一的东东 扯一堆干嘛
作者: mmonkeyboyy (great)   2021-11-12 22:07:00
没有人说不用数学啊....只是数学拿来干嘛用而已你要拿来看懂别写的东西就很够要强到拿来开发新东西那是另一回事最近美国太多ml人 所以就只好用考的来去掉一些啊对啊= =" 不过说什么数学的 要能用数学解决新东西不是总在那卖弄我看得懂我会算....(很多人都会懂啊)懒得在那里扯而已
作者: Morphee (千磨万击还坚劲)   2021-11-12 22:16:00
如果你要做的题目 建中生也拿得到资料 你真的做得赢他吗?我觉得先问这个就够了 如果有信心就做 没信心至少换个domain 资料是建中生拿不到的 不然稳死阿 还没提市场勒弄出来了 结果不好意思商汤也有卖算法 比养你便宜老板手指算一算 哪天没钱买跑车了 把算法组全改去做别的
作者: mmonkeyboyy (great)   2021-11-12 22:20:00
说到中国....这行业更是结合人多的优势
作者: johnboygo (nube)   2021-11-13 01:02:00
我也觉得这系列讨论是大家对数学好的定义不一样XD对理科背景的人来说微积分、线性代数叫常识不算会数学对转职的人来讲可能微积分跟线性代数就是难的数学了
作者: j0958322080 (Tidus)   2021-11-13 01:18:00
真的,要考也考个四为 Stoke's thm
作者: johnboygo (nube)   2021-11-13 01:48:00
懂数学至少要会Lebesgue Integral吧
作者: yyhsiu (hsiu)   2021-11-13 04:32:00
推楼上 数学好的定义没讲清楚就先战成一团了原po觉得都没在用数学 (我会相信),但对某些人来说可能一直都在用了
作者: mao9201 (茂)   2021-11-13 10:15:00
项目换成更进阶的real analysis, commutative algebra也不过是数学研究的入门砖而已...真的不要轻易说自己数学程度很好
作者: kevin820308 (fdsfssdas)   2021-11-13 13:31:00
不推XD 有点像我学医朋友说雅思7.5 不是大学水准吗
作者: asleisureto (ASLE)   2021-11-13 16:03:00
原po讲的好像高中毕业刷个几题就能进faang一样那我也可以说高中补个习考上医牙,也没很难呀
作者: RumiManiac (Rumi!)   2021-11-14 13:22:00
终于有人讲到了,数学好都没定义清楚也能战成一团...
作者: bowin (尽其在我)   2021-11-16 06:54:00
推Alden好文分享!
作者: alksjdf (Loop)   2021-11-16 20:29:00
感谢分享 感觉FANG不管什么缺都可以用SWE去准备...只要leetcode刷好刷满 他甚至不会考你其他专业问题?

Links booklink

Contact Us: admin [ a t ] ucptt.com