Re: [请益] 想从零开始转行当AI软件工程师

楼主: DrTech (竹科管理处网军研发人员)   2021-11-11 01:19:59
大家讨论了很多高深的数学,或是顶会。
实际上,我真的很怀疑有多少人真的在业界上搞 AI。
只论台湾吧。首先市场上纯研发,需要数学或考绩强制发论文的职缺,占不到5%。而且这两年职缺越来越少。更何况顶会… 台湾业界一年也没看多少人在发顶会,几乎没有吧。就连国际研讨会,比例来说也没看到多少人在发,常常看论文的我都没搜到台湾业界发的论与。板上动不动就需要数学与改模型架构,真的感受差很大,可能是我看得不够多?
好啦,如果你在国外大公司当我错了。的确很多人搞数学,但是人数比例还是超级少。
再来谈产品。首先论产品的效果,资料面就决定结果论了。实际工作时,有大部份的时间在处理资料。然后还是要花很多时间做特征工程。当然特征工程你可以搞很深的数学啦,但是可能需求方,多给你一个有用的资料特征,都比搞数学重要。
特征工程需要用到数学或顶会能力吗?
前面说可利用数学方法,或各种模型做特征工程或过滤噪声,这要看任务。至少我比较熟的语音讯号,NLP,搜寻,推荐排序,跟本就没有好方法。没有一套数学方法论,特征可以有什么突飞猛进的提升,没见过。喔有人说预训练,就能突飞猛进了啊,问题是,你用预训练需要什么数学?
你要重新设计一套预训练模型,即使自己设计,也很难别人好阿。搞数学设计算法要用在哪? 实际上真的没机会发挥居多吧。说数学有用的可以回文讨论一下吗。如果是说常用数学,都是写在 pptx 上用来震撼长官用,我还稍微相信。
非深度学习,各种企业的结构化或数字型资料,也不需要设计什么数学来做特征工程吧。常见的不平衡标签的状况,用数学重新去设计 loss function, 效果提升真的有限,而且改来改去可能还不如用别人设计好的方法。改来改去不如前面搭一层规则引擎过滤修改 bad case结果。
资料与特征搞得差不多了,来谈谈模型吧。
正常有经验的人,怎么会马上跳到复杂的模型,或自己设计。拜托,恨不得模型越简单越好吗。能达到产品规格的模型就好,模型用越简单越好,计算成本才能压低,性能才会好。
这时有人会跳出来说了:我们会为了提升AI能力,用复杂的模型,然后蒸馏,这时需要数学了吧? 没吧,机会有够少的。现成open source的蒸馏模型,scaling,都是经过研发与实验的,你自己设计跟本很难效果赢别人。当那些世界名校学数学的人,是塑胶做的吗?自己随便搞就能赢人?
AI又不只 监督学习, RL,图学习,各种复杂AI,总会用到数学了吧?问题是有多少人可以搞数学搞到比现成方法好? 要花多少成本呢?
再来跳针一下,面试推导总该需要数学了吧。喔对,大厂工作基本工。问题是,你面完你就忘得差不多了。下次找工作再复习。而且台湾真的多数公司不考。
不是说数学不重要,或 学AI不需要学数学,而是单纯找个混口饭吃的工作,还真的不用特别去学数学。只是要有 AI工作,没顶会,没kaggle也一堆工作。这才是现况吧。
作者: shomingchang ( )   2021-11-11 01:31:00
我觉得会数学跟什么顶会、比赛是两码子事吧如果要去看别人论文实作,不懂数学会连符号都看不懂
楼主: DrTech (竹科管理处网军研发人员)   2021-11-11 01:33:00
对,我也觉得两码子的事情。文中有错可多指正。
作者: shomingchang ( )   2021-11-11 01:34:00
跟设计算法也是两码子事,只是单纯读得懂的而已
楼主: DrTech (竹科管理处网军研发人员)   2021-11-11 01:35:00
看论文实作或复现的工作在台湾也很少。多数不需要。
作者: shomingchang ( )   2021-11-11 01:38:00
嵌入式环境需要吧 可没有python的一堆套件可以用
作者: clothg34569 (提拉米苏冰淇淋)   2021-11-11 02:23:00
数学 顶会 KAGGLE这三样没什么关系吧
作者: labbat (labbat)   2021-11-11 02:51:00
重造轮子的工作比你想得多了,需要数学的
作者: min86615 (minshang)   2021-11-11 08:10:00
有啦ECCV 会在Kaggle办比赛,请第一名去会议上分享
作者: frouscy (流浪吧。)   2021-11-11 08:34:00
要在业界做applied ML软工比数学重要太多了QQ
作者: stmilk (我男的)   2021-11-11 09:39:00
其实依照你的前提“只是要糊口饭吃”,不要说ai了,所有行业都不需要数学了,没什么讨论点吧。再来,你提到模型的部分不就说了数学的重要性,还是你其实是想告诫大家不要妄想跟世界名校数学人竞争而不是数学的重要性?最后,你提到的部份把前提假设的这么美好当然就不用数学,来聊聊推荐系统好了,今天老板给你一行为人的一堆网页点击资料,跟一堆他看过的文本图片,而且都还稀疏各种缺漏,接着就什么都没有了,叫你弄推荐系统,你是打算现在流行方法套一套然后交差然后说抱歉我尽力了吗?还是或尝试用统计方法处理一下资料?或是股市资料,今天老板就给你开高低收量,叫你写策略,你一样是会用现行流行方法套一套然后说没办法,还是尝试去机率建模分析?
作者: mmonkeyboyy (great)   2021-11-11 10:00:00
楼上 你确定现在推荐系统是这样做的? XD 从数学做老板会叫你回家吃自己.... 别人都上市了 你在那刻更别提还有很多美丽的数学解不了的工程问题
作者: stmilk (我男的)   2021-11-11 10:07:00
再提一下模型的部分,模型越小越好除了成本考量,最重要的是降低capacity导致的overtraining的问题,深入研发的部分有一大派就是在想办法降低这个部分,但你只有两条路,一是改变模型架构这也是,纯学术在做的事,因为不用考虑有的没的只要专注降低capacity跟训练成本就好,像transformer极大程度降低了capacity跟能够平行运算,另一条路就是想办法丢进模型的资讯少一点,因为根据Universal ap
作者: mmonkeyboyy (great)   2021-11-11 10:07:00
真觉得这么厉害也有用 可以去对岸试试
作者: mmonkeyboyy (great)   2021-11-11 10:09:00
实务上就一堆数学搞不定的 就是叫工程的搞破坏搞定你也就讲 那数学哩 你看过一堆暴力pruning?至今这帮人也还没给出啥解释 但人家超好用啊
作者: stmilk (我男的)   2021-11-11 10:12:00
你总有上线后要优化吧,真的就要放上去就不管喔那我也没话说啦
作者: mmonkeyboyy (great)   2021-11-11 10:12:00
你只是上线后优化....很多时候跟数学没关啊....优化界跟数学没关的更多了 = =" 很多都是后来再套数学上去的 后面来的人傻傻以为人家是这样想出来的现实情况是 如果有数学可以解真好 但多的是没有
作者: stmilk (我男的)   2021-11-11 10:14:00
我的优化不是优化速度有的没的,是优化准确率啦你不能没有就不做阿=_=
作者: mmonkeyboyy (great)   2021-11-11 10:15:00
但还是得优化....囧>优化准确率 然后你去做数学 结果花一堆时间做出来更烂....你老板不立马开了你 不然你以为大家大部份
作者: stmilk (我男的)   2021-11-11 10:17:00
你知道平台端的广告投放商竞价系统要做的事吗?
作者: mmonkeyboyy (great)   2021-11-11 10:18:00
一年大拜拜就出那个位数篇 也就几年而已
作者: stmilk (我男的)   2021-11-11 10:18:00
优化那个机率真的不是你暴力法去搞就好
作者: mmonkeyboyy (great)   2021-11-11 10:19:00
我没跟 平台端做过 到是不知道我跟你的上面出推荐的人做过 最后他们用我们暴力方案....用空间换他们自己算过成本 对方也一堆数学家+AI理论专家最后各种比完之后拿下来的是工程硬解上RAM后面商家我没做过 抱歉 也许那端是吧数学那么美丽 我每个都用f32不更美 刚好回家吃自己还不如int8/16 混合先撑撑过了再说当然我不是说数学不好 只是说要久一点 要多久就是比投资人的耐心了....学术界就是要比有没有人比你更快想到....说到数学家 一堆都在研究blis/blas/smm-mul纯数还没有遇到几个 还真不知道他们在干嘛但我知道没有很常在做网络就是了
作者: alpe (薛丁格的猫)   2021-11-11 11:50:00
四类写后端又念资管硕写AI论,非相关科系根本不懂那数学符号我写完论文我还是不懂, 问几个中阶的问题我就死了
作者: aria0520 (紫)   2021-11-11 15:56:00
我在业界AI到现在的确是没什么碰到数学顶会workshop倒是有个一篇
作者: odahawk (羊皮狼)   2021-11-11 16:14:00
我在IC设计公司用过滤波器数学
作者: solitude6060   2021-11-11 17:05:00
回上面的:你确定现在推荐系统是这样做+1(好啦我没有要参战XD
作者: leptoneta (台湾高山族自治区书记)   2021-11-11 17:38:00
应该说在台湾 不是职称有AI就以为自己在搞AI写作人工智能 读作工人智慧
作者: aria0520 (紫)   2021-11-11 20:24:00
不过现在台湾业界对AI的定义就是这样没错台湾的纯软公司体量没有大到像国外可以真的搞研究发paper 台湾业界就是要速成有效和部署
作者: mmonkeyboyy (great)   2021-11-12 02:02:00
囧> 我也没有要参战啊 只是觉得事必有因 这样XD再看几个回应 嗯 果然不出所料XD其实全世界真做nn研究的真的很少 每年做出来的都可以用手指数的@[email protected]~ cv来说过去几年也就某一派大杀四方说实话我自认智商不足 还是去一边画圈好了XD我觉得有效部署不是错事 因为更多ai都是纸上谈兵而且要有资金才有新研究 还是要能有钱才转得动啊几乎所有公司都是拿别的养ai部门 没有别的抢上市先赚一波也不是坏事啊
作者: world4jason (凉风男孩)   2021-11-12 12:35:00
现在推荐系统复杂多了 都是pipeline组合 基本上是工程问题 只是每个环节上有不同model针对该环节指标优化 但说实在看起来很work的论文 套用到在家data上根本不一定work 对资料的研究 前处理 这些工程事情才真的是关键 另外像是推荐系统这种虽然有指标但每个人体感大不相同的东西 为了几%的指标提升从ML改DL 然后每个月烧的数字多一个0 这方案绝对不会被采用的
楼主: DrTech (竹科管理处网军研发人员)   2021-11-12 12:44:00
推荐系统,或人的行为纪录,现在根本没有好的数学可以提升点击效果,购买效果。也是考大力出奇蹟。实务上真的没机会给你用数学去提升。
作者: aiueokaki   2021-11-12 12:57:00
这篇才接近现实
作者: aria0520 (紫)   2021-11-12 23:32:00
基本上你公司谁算力大谁就赢一半了不用算数学 积木设计好丢下去NAS搞定
作者: world4jason (凉风男孩)   2021-11-14 00:09:00
同意原po说的 看起来是业内人XD 推荐系统跟数学完全无关 完全是domain knowledge跟工程 有时候抓到key feature就吊打千千万万模型了不行的话就是大力出奇蹟XD

Links booklink

Contact Us: admin [ a t ] ucptt.com