[请益] 人工智能与数据模型产品化职涯请益

楼主: simon3458 (人生如命啊...)   2021-02-23 11:55:06
各位软件业的先进大神们大家好:
一、前言与发文目的:
近期在检讨与找寻有关个人的职涯与工作状态,
想持续朝着大数据与人工智能相关的技术开发与导入工作迈进,
恳请版上各位大神鞭小力一点,给予我一些回馈。
二、背景介绍:
1. 学历: 四大硕毕,目前27岁,大四开始走有关人工智能相关技能。
2. 经历: 今年年中满三年,主要以数据与人工智能产品开发经历。
3. 想持续做人工智能与数据产品化相关的工作,概念以AIOps或MLOps为基准。
三、目前技能树经验:
1. 程式语言: 主要都是以Python做为开发经验,并且在Python上实作OOP,也尝试使用MVC
2. ML/DL:
(1) ML相关: SVM、Scikit-learn、LightGBM、XGB等,有使用在专案或论文上。
(2) DL Framework: Keras、Tensorflow。
(3) CV专案: 使用OpenCV、Yolo-base model等到专案上,目前较长接触。
(4) Text专案: 曾用BERT模型去做文章分类的专案,较少用。
(5) 模型服务: TF-serving、OpenVINO相关。
3. Database: 算熟悉的有PostgreSQL、SQLite、Cassandra等。
4. 开发环境: 主要windows、Linux环境都算熟悉,并且把服务与模型Docker化,
Dockerfile会自己写,并且透过Docker-compose等方式去做设定。
5. web framework: 目前主要以fastapi为主,flask为辅去做API开发。
6. 前端: 因为公司有平台可以做一些前端呈现,因此会一点点HTML和Javascript语言
7. 云端: 主要公司合作以Azure为主,曾经参加过AWS和GCP活动,有一些些概念。
8. DevOps相关:
(1) 版控: Git(Gitlab)、DVC。
(2) 测试: Pytest、Pytest-mock去做一些整合和单元测试。
(3) CI: 自己撰写ci yaml档案去做container scan、code quality、
单元测试、Pylint、建立模型和注册模型。
(4) CD: 透过自己撰写Ansible去deploy逻辑服务与模型服务。
(5) Monitor: 找到相关开源专案来部属Node Exporter, CAdvisor,
让后面DevOps组可以协助接到Grafana上。
9. 文化: 利用Scrum和Kanban,来管理我的工作模式。
四、对于人工智能专案与产品化的过程中,我依专案顺序实作过以下经历;
(1) 资料收集与标签: 因为部分专案无提供资料,因此需从收集资料与标签开始,
自己撰写相关资料收集工具,并且在开源平台上找到相关标签平台,
并且提供给User做标签。
(2) 资料分析: 透过python相关套件和绘图工具,去做资料分析与呈现。
(3) 资料处里: 透过python撰写去做ETL处理。
(4) 模型训练: 虽说我知道MLFlow,但团队没有实际去做,所以就也还没使用,
知道其相关概念,目前主要还是透过jupyter或VScode,
直接撰写完后,放到公司或云端的GPU server上面做训练。
(5) 模型、资料与程式码版控:
(A) 模型版控: 利用自己开发的工具,将模型存放到第三方服务,
然后在透过git去做管控。
(B) 资料版控: 透过DVC和git,去做资料版控。
(C) 训练与服务程式码版控: 透过git做版控。
(6) 模型部属: 透过gitlab 和CI/CD 工具去做服务与模型部属工作。
(7) 维护: 透过grafana和telegram bot做提醒和维护,如有任何问题会去做修正。
五、目前计画:
1. 目前在这个公司已经发展到一定程度,想透过其他方法来去更深化和优化这些技能。
2. MLOps相关的能力还在持续补充中,也会持续利用闲暇时间参与开源会议或研讨会等。
六、问题询问:
其实技能数点的很大一颗,但有前辈提点我,应该要更深化里面的内容,来帮助自己
的专业度更提升,但MLOps要会的东西又很大一包,有时候也不知道这样点对不对,
或者有什么建议可以往下一步迈进?
如果对于我的经历和技能有些提点或建议,我真的需要一些帮忙,也欢迎推文或站内
信给我一些协助。
作者: LordCHTsai (我饿了)   2021-02-23 12:07:00
看起来是想做AI/ML的Infra,那技能树其实差不多了问题可能是新创不一定想招一个专做AI/ML Infra的毕竟GCP/Azure/AWS都有ML的方案你能做的顶多是简化computing resource allocation或是提供hyperparameter的管理那上述的事除非公司里有大量ML researchers不然也没有必要花钱做这部分的优化不过以DevOps的角度来看,我觉得你的技能树很完美那我觉得Ops的技能就显得不是很重要你只要知道如何apply trained model到产品上就好了那就是个...一般的software engineer什么都做的话产品能不能赶上时程是个问题另外一个就是你有没有能耐全部都做到prod grade是,我觉得工作你就ML SWE和DevOps择一就好,看兴趣
作者: aidansky0989 (alta)   2021-02-23 13:49:00
ai产品是指影像?nlp?碰一堆应该有一块是值得深入钻研
作者: Morphee (千磨万击还坚劲)   2021-02-23 19:38:00
这样年薪多少感觉公司给太少了
作者: leighmeow (warau)   2021-02-24 00:57:00
觉得你的技能树很够欸 要不要跳到大公司做做看大的scale的东西 这种经历佩颖的技能 是自学很难学到的
作者: famous727 (蜥蝪)   2021-02-24 02:07:00
不到3年就能学这么多东西~太厉害了

Links booklink

Contact Us: admin [ a t ] ucptt.com