Re: SAM

楼主: sustainer123 (caster)   2025-08-04 17:47:50
※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言:
:  
: sharpness-aware minimization
:  
: 数学推导没全看懂
:  
: 但好像就是要找到相对平坦的区域最小值
:  
: 这样能提升泛化能力
:  
: 我看他用在分类任务
:  
: 有人把它用在语意分割任务ㄇ
:  
看val loss 能压到更低
但跑完指标变差
明天改测val loss最低的指标是多少
还有他默认是SGD 改用Adams会有差吗
作者: caat0808 (桐生キキョウ)   2025-08-04 17:48:00
都试试看ㄚ
楼主: sustainer123 (caster)   2025-08-04 17:53:00
也是

Links booklink

Contact Us: admin [ a t ] ucptt.com