※ 本文是否可提供台大同学转作其他非营利用途?(须保留原作者 ID)
(是/否/其他条件):
否
哪一学年度修课:
107-1
ψ 授课教师 (若为多人合授请写开课教师,以方便收录)
李彦寰
λ 开课系所与授课对象 (是否为必修或通识课 / 内容是否与某些背景相关)
资工所
δ 课程大概内容
课程网页: https://cool.ntu.edu.tw/courses/130
Ω 私心推荐指数(以五分计) ★★★★★
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
η 上课用书(影印讲义或是指定教科书)
老师自己的投影片
μ 上课方式(投影片、团体讨论、老师教学风格)
投影片在上前会放到NTU Cool
上课就是投影片辅以白板
σ 评分方式(给分甜吗?是扎实分?)
作业 40 % (取最高三次)
期中考 20 % (期中考前的作业一定要写,不写会后悔QQ)
Final Project 40 %
ρ 考题型式、作业方式
作业真的超Nice,基本上每次作业都是两到三个大题,
然后里面的题目会一个接一个,逐步带领你证出神秘的
bound,这个真的是用心的老师才会这么仔细的安排。
不过老师作业一版通常都会有bug,所以要早点开始写
,不然会被bug误导得很惨,但老师回信修改的速度真
的超快。
ω 其它(是否注重出席率?如果为外系选修,需先有什么基础较好吗?老师个性?
加签习惯?严禁迟到等…)
出席率 0
建议修过线代,不然会有一点痛苦
Hsuan-Tien ML, Shou-De ML, Hung-Yi ML之类的课,
没修过也没差
不过有修过 Chih-Jen OPTML(下学期停开QQ)的话,前面一两份的投影
片和第一次作业会满舒服的,不过后面就没差了。
Ψ 总结
在大大大ML时代,人人都是资料科学家,大家都是pytorch, tensorflow,
keras, chainer,caffe叠积木大师,但你是否曾经想过,为何gradient
descent会收敛,就算他会收敛,又会收敛的多快呢?那是否有比gradient
descent还快的算法呢?
在堂课中,老师带着大家从convex function简单的性质开始,从定义
开始,然后介绍了gradient descent然后又介绍了神一般的俄国人
Nesterov的accelerated gradient descent,之后将gradient descent
的式子写成norm形式,开始想着是否能用其他的norm来做gradient descent?
于是mirror descent就进入了眼帘,之后将convex function改成
composite形式,出现了proximal gradient系列算法,然后你的期中
考范围就到这惹。
期中考完后,就是Frank-Wolfe Method,之后稍微进入Online的世界
介绍惹Online Mirror Descent。最后踏入Learning in games,从
naive的follow-the-leader,加入神奇天眼的be-the-leader,最后
进入follow-the-regularized leader.
学期的最后,以Optimistic method划下句点。
好课不修嘛~ 而且期中考平均好像7x~