大家讨论了很多高深的数学,或是顶会。
实际上,我真的很怀疑有多少人真的在业界上搞 AI。
只论台湾吧。首先市场上纯研发,需要数学或考绩强制发论文的职缺,占不到5%。而且这两年职缺越来越少。更何况顶会… 台湾业界一年也没看多少人在发顶会,几乎没有吧。就连国际研讨会,比例来说也没看到多少人在发,常常看论文的我都没搜到台湾业界发的论与。板上动不动就需要数学与改模型架构,真的感受差很大,可能是我看得不够多?
好啦,如果你在国外大公司当我错了。的确很多人搞数学,但是人数比例还是超级少。
再来谈产品。首先论产品的效果,资料面就决定结果论了。实际工作时,有大部份的时间在处理资料。然后还是要花很多时间做特征工程。当然特征工程你可以搞很深的数学啦,但是可能需求方,多给你一个有用的资料特征,都比搞数学重要。
特征工程需要用到数学或顶会能力吗?
前面说可利用数学方法,或各种模型做特征工程或过滤噪声,这要看任务。至少我比较熟的语音讯号,NLP,搜寻,推荐排序,跟本就没有好方法。没有一套数学方法论,特征可以有什么突飞猛进的提升,没见过。喔有人说预训练,就能突飞猛进了啊,问题是,你用预训练需要什么数学?
你要重新设计一套预训练模型,即使自己设计,也很难别人好阿。搞数学设计算法要用在哪? 实际上真的没机会发挥居多吧。说数学有用的可以回文讨论一下吗。如果是说常用数学,都是写在 pptx 上用来震撼长官用,我还稍微相信。
非深度学习,各种企业的结构化或数字型资料,也不需要设计什么数学来做特征工程吧。常见的不平衡标签的状况,用数学重新去设计 loss function, 效果提升真的有限,而且改来改去可能还不如用别人设计好的方法。改来改去不如前面搭一层规则引擎过滤修改 bad case结果。
资料与特征搞得差不多了,来谈谈模型吧。
正常有经验的人,怎么会马上跳到复杂的模型,或自己设计。拜托,恨不得模型越简单越好吗。能达到产品规格的模型就好,模型用越简单越好,计算成本才能压低,性能才会好。
这时有人会跳出来说了:我们会为了提升AI能力,用复杂的模型,然后蒸馏,这时需要数学了吧? 没吧,机会有够少的。现成open source的蒸馏模型,scaling,都是经过研发与实验的,你自己设计跟本很难效果赢别人。当那些世界名校学数学的人,是塑胶做的吗?自己随便搞就能赢人?
AI又不只 监督学习, RL,图学习,各种复杂AI,总会用到数学了吧?问题是有多少人可以搞数学搞到比现成方法好? 要花多少成本呢?
再来跳针一下,面试推导总该需要数学了吧。喔对,大厂工作基本工。问题是,你面完你就忘得差不多了。下次找工作再复习。而且台湾真的多数公司不考。
不是说数学不重要,或 学AI不需要学数学,而是单纯找个混口饭吃的工作,还真的不用特别去学数学。只是要有 AI工作,没顶会,没kaggle也一堆工作。这才是现况吧。