楼主:
anonimo (unknown)
2021-02-07 02:19:53※ 本文是否可提供台大同学转作其他非营利用途？（须保留原作者 ID）
（是／否／其他条件）： 是
哪一学年度修课：
108-2
ψ 授课教师 (若为多人合授请写开课教师，以方便收录)
陈缊侬
λ 开课系所与授课对象 (是否为必修或通识课 / 内容是否与某些背景相关)
电机资讯学院 资讯工程学研究所
δ 课程大概内容
(03/03) Introduction
(03/10) Neural Network Basics
(03/17) Word Representation & Recurrent Neural Network
(HW1: Summarization)
(03/24) Attention Mechanism
(03/31) Word Embeddings, Contextual Word Embeddings
(04/07) Transformer and BERT
(HW1 Due)
(HW2: 中文QA w/ bert)
(04/14) More BERT
(04/28) DRL and Q-Learning
(HW2 Due)
(05/05) Policy-Gradient & Actor-Critic
(05/12) Natural Language Generation
(05/19) Generative Adversarial Network
(05/26) Beyond Supervised Learning
(HW3 Due)
(Final Project:Transfer Learning or 自选)
(06/02) Towards Conversational AI
(06/16) Robustness & Scalability
Ω 私心推荐指数(以五分计) ★★★★★
有DL基础: ★★★★
甜度(没停修的话): ★★★★★
Overall: 3.5
η 上课用书(影印讲义或是指定教科书)
老师的投影片
μ 上课方式(投影片、团体讨论、老师教学风格)
投影片 去年因为疫情的关系都改成线上
每周老师会把录好的影片上传到Cool 和 Youtube
原本的时段改成TA hour
另外每周会有助教额外的影片补充论文新知
σ 评分方式(给分甜吗？是扎实分？)
个人作业(20%)*3
Final Project (3~4人一组)
Video presentation(10%)
Report(20%)
Participation(10%)
作业都有一些加分题 所以每次满分可能会超过20分
如果没有停修的话最后给分超级甜
ρ 考题型式、作业方式
个人作业都是程式+report 交到NTU Cool
助教会跑code测有没有过baseline 没有kaggle
HW1:Summarization
Extrative, seq2seq, seq2seq+Attention
HW2:Bert for Chinese QA
HW3:Reinforcement Learning
Policy gradient, DQN
Final Project: 分自选 or Shared Task Challenge
Shared challenge 为 Document Information Extraction(日文)
ω 其它(是否注重出席率？如果为外系选修，需先有什么基础较好吗？老师个性？
加签习惯？严禁迟到等…)
我觉得这堂课的内容本身还ok 但是作业和课程的规划应该有一些可以改进的空间
由上面的课程大纲可以知道 在做hw1的时候
老师一直到deadline前一周才把hw1会用到的内容(word embedding)教完
导致许多同学来不及吸收并完成作业
另外老师在一开始也说这堂课的基础只需要微积分和线代
因此可能有很多只有数学基础 但对DL不太熟的同学来修
要在一个月内弄懂基础DL到RNN再到Seq2seq+attention
再用pytorch或tensorflow实作出来 我觉得可能有点太硬了
而且助教也没有提供sample code
至少我有问到的人都停修了Q_Q 实际停修比率不太确定 但应该不少
我的话是因为之前已经有一些DL基础 所以作业一公布就差不多可以开始写了
如果以一个有DL基础的角度来看 其实这样的课程安排是可以的
但是因为我实在问到太多人都中途停修了XDD 所以还是要讲一下
hw2则是用bert做中文QA问答
同样没有sample code 所以也是要花一些时间
hw3的RL就比较简单了
是以助教提供sample code然后挖空的形式
整体来说3次作业花的时间是 1>2>>3
另外final project分为自选或是做Cinnamon AI提供的dataset(日文NLP)
自选的部分好像只要主题跟DL有关就好 也允许直接用其他堂课的project
加签的话要先写hw0 然后过kaggle的baseline
很简单 只要复制贴上+改几个参数就过了 所以没什么筛选的功用
还要填一个表单 包含系级、修过的课之类的
最后筛选条件未知 有听过同系级但是有人选上有人没上的
Ψ 总结
这堂课我比较推荐给有一些DL背景的同学
如果有修过108-1以前电机系开的机器学习
我觉得这堂课算是个还不错的衔接
如果是修过108-2机器学习得同学
由于李宏毅老师在这学期的课程几乎把所有主题都讲过了
因此如果你每个作业都有做完 那其实已经跟这堂课有很多重叠的部分
我觉得就不一定要修 (大概只有多bert的部分而已)
对于没有DL背景的同学 我觉得可能太硬了
不过以这学期的经验 我推测可能作业不用全部做出来
最后都可以A+ 因为给分太甜了XDD
另外这堂课虽然叫深度学习之应用
不过大部分还是偏重NLP方面 可能也跟老师本身的研究领域有关
如果主要是想学其他领域的同学可能要注意一下
不小心拖太久才发心得文 如果有漏掉的地方还请其他帮忙同学补充了