现在就业有两种 MLE或ML Researcher Scentist(代号RS)
前者就是call api 或者触碰AI Infra 这个就业数量巨大 极度缺人
基本上都是码农转职过来 现在只要有点能力MLE 都可以去openai
面试就是需要强大的coding技巧和基础AI知识 走这边的话 基本上传统AI可以不用看
像是SVM推导 啥daul-norm定理 scikit-learn都可以不用碰 甚至夸张点说
你CV那边的只要懂CNN NLP大部分的传统n-gram/markov 也可以扔了
其他啥 continuous learning/RCNN/FastRCNN/ 全部可以扔了 啥one-stage/two-stage
好处优缺点不用管 vae/gan 啥的也可以扔了 要做影像产生只要刷diffusion
diffusion就是要专注如何让iteration迭代次数大幅下降 使得影像产出速度变快
面试重点就是大部分都是环绕在enc-dec架构 dec/RAG/Knolwedge Graph 大概懂就好
像是为啥knowledge graph比embedding vector来的更好找寻资料相关性
git上面 多模态就刷clip 语言模型就刷bert跟minigpt 只要会lora fine-tuning
其他都不要碰 pre-training那种都不要管 那是给下面的人做的 大部分的就业
就是维护系统 call api 打造下游任务 和增加inference thropughout
欧对了 要把LLM KV cache摸熟 那是infra里面最重要的工具 像是怎样拆解
pre-fill和generation 两stage 如何模型在通讯loading 拆解分到个cluster
如果对c++擅长 可以去打nanogpt-speedrun挑战赛 体验AI infra怎样玩
后者RS就业现在有点红海 职缺相对少 因为都要求要有发paper 这周末审完NeurIPS @@
真的是杀得惨不忍睹 现在都零和游戏 每个reviewer泪气都很重 你今天不干死对方
下次就是对方干死你paper 好处是薪水上限无限高 我是走后者RS
建议大家都去当MLE 不过版上闲聊看起来一堆人都是AI专家 他们如果讲的跟我不同
以他们为主@@ 我已经被科技版AI专家呛过好几次了
如果到此为止你还是真的想走reseracher 那就把Hugging Face程式码一行行看
看llama怎样写 whisper怎样写 embedding怎样设计 encoder怎样做alignment
为何整个模型参数量70%都会在FC layer而不是attention layer 为何pre-fill可以每秒
上千token 为何generation 只能~50~100 token second 为何要用RMS Norm layer不是
以前的LayerNorm 为何主流activation 要用ReLu 不用sigmod 为啥现在learning
rate都有Warm-up Phase 以前则是梯度下降 为何conformer架构在bf16容易崩
如何post-training用RF做RLHF 这种触感只能一行行程式码跑 改架构 然后改坏掉
痛过一次才会知道为啥这样设计 看教材是没有那种很深体悟 不太建议去摸啥统计啊
ML Statistics 因为看完 你还是不知道怎样去改模型 等你对架构有概念
再回去看那些传统教科书 你才会理解当初那些鬼玩意是在干啥 像是contrastive loss
为啥适合用在self-supervised上 为啥informaiton theory KL可以用在distilliation上
embedding space/latent space是啥鬼玩意 除非你想念PhD 不然最简单速成
就是去玩code一个个模组改 然后再回来看那些数学模型 基本上就是上篇scotch大大推文
的做法
且弄到这样 你可能还是没妹子@@b 极大不建议
※ 引述《wa007123456 (大笨羊)》之铭言：
: 目前还不确定要学多广
: 因为深度学习的原理好像满困难的
: 我想有两条路线:
: 1. 从数据分析(资料科学)开始(理论 > 实作):
: 这部分我有一本原文书可以看
: 了解数据分析的基础 => 可能会使用Python加上一些常用套件(NumPy、Pandas
: Matplotlib...etc)，并了解一些会用到的数学
: 知识
: 进一步演进到机器学习 => 使用scikit-learn，学习
: 分类 => 回规 => 集群 => 降维
: 然后后面还有一堆我没碰过的东西:
: a. 模型验证
: b. 超参数
: c. 特征工程
: d. 贝氏分类法
: e. 决策树
: .... 等
: 结束后，"应该"可以理解并实作一个简单的"脸部辨识"
: 2. 直接使用现成的AI (使用Google 的 Gemini API 实作>理论):
: 这部分直接使用网络教学，我有找到一堆资料了。
: 等到摸熟了再回去学刚才提到的第一点?!
: 我的目的是要学会它的基础原理并加以利用...
: 不知版上是否有人有学习AI的经验，感谢提供意见。