Re: SAM

楼主: sustainer123 (caster)   2025-08-06 18:28:50
※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言:
:  
: ※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言:
: :  
: : sharpness-aware minimization
: :  
: : 数学推导没全看懂
: :  
: : 但好像就是要找到相对平坦的区域最小值
: :  
: : 这样能提升泛化能力
: :  
: : 我看他用在分类任务
: :  
: : 有人把它用在语意分割任务ㄇ
: :  
:  
: 看val loss 能压到更低
:  
: 但跑完指标变差
:  
: 明天改测val loss最低的指标是多少
:  
: 还有他默认是SGD 改用Adams会有差吗
:  
有料欸
有一点提升
这篇2021的paper
今年CVPR有个for long-tail的改版
明天测一下
希望能靠这个冲个2%

Links booklink

Contact Us: admin [ a t ] ucptt.com