Re: [请益] 关于 NLP 如何自学(书/公开课程)?

楼主: sxy67230 (charlesgg)   2022-06-02 22:28:00
※ 引述《cylee (Artisan)》之铭言
: Hi 各位先进,
: 本人背景是毕业很久的资工硕,目前从事 infra 开发的 back-end
: engineer,目前待的公司准时上下班,想学些能累积技术的主题
: 熟悉的语言有: C++/Python/Rust
: 因为在学时完全没接触过,想请问有碰过的先进们,自学的话有没
: 有推的书、公开课能分享。另外 NLP 现在业界真的拿它来赚钱的公
: 司/组织是不是偏少(台商),还是只是我没碰到而已?
: 谢谢各位
基本上,可以先从传统的NLP领域开始切入,传统计算语言学的问题主要有Tokenizer、POS
、Entity Extraction、Dependency Tree、Relation Mapping、Intent Classification、S
ummarize、Coreference Resolution、Questions Answer、Language Translation等这些问
题开始下手。
如果没修过相关课程可以直接去听Stanford 的线上公开课程,有直接从传统统计语言角度
跟问题直接切入的,然后再慢慢进一步走到用DL的方法,本质上传统跟Neural的角度也不用
担心差很多,了解传统统计模型方法像HMM CRF这种会帮助你理解更多,怎么透过传统角度
切换到DL角度。
然后当前比较重要的NLP领域基底就是Language Model(或是你会听到词嵌入Word Embedding
都是一样的),这个会在你做上述问题的时候会套用的预训练模型,你可以初部把他直接理
解为一个特征转换器,可以把复杂高维特征降维方便模型理解的方法。然后还有去理解一下
Self-supervised learning 方法,AR跟AE的自监督训练方法差异,想解决的问题。
剩下你想搞一些上层的应用大概就是这些问题组合拳一套,做ChatBot在加上一点IR的东西
加上树搜索就完成了。
然后想从书学的话,我推荐这本 Speech and Language Processing,这本大概就是圣经,
也是Stanford 的教授写的,剩下就是多读文献。
搞NLP比较弱势的可能就是业界应用会比较要媒体、广告相关去找会比较有应用空间,早期
有搭上车银行做监控跟客服这块也是有应用,不过这几年找得人就比较少了,或是这几年智
能合约也会应用到NLP,我自己今年就被两家币商找过想去做这块研究。
以上
作者: DrTech (竹科管理处网军研发人员)   2022-06-02 23:01:00
Chatbot只做到IR确实很难找工作啦,光是语意理解就可以做好多年了。我去年初找chatbot 的工作,台湾有两家给我200万以上年薪。NLP不好找工作,很多是因为大家都只用APInlp真的只靠组合拳打天下,就是很难用的产品。
作者: recorriendo (孟新)   2022-06-03 13:04:00
那是NLP圈子说的discourse analysis、informationstructure 一直以来都有人在做 intro的书或课程少提而已还有word embedding是词的模型 language model是句子的模型 指的不一样
作者: sachialanlus (yeh)   2022-06-06 22:06:00
根据自身经验 了解language model的发展很有帮助

Links booklink

Contact Us: admin [ a t ] ucptt.com