※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言：
: 　
: 今年门控那篇
: 　
: 好屌喔
: 　
: 概念简单而且实作简单
: 　
: 一个小操作就有不小进步
: 　
: 我就喜欢这种文章
: 　
: 就是residual那种类型的 很赞
: 　
测试了一下
他的实现不难
就sdpa加个sigmoid跟可学习门控参数
我拿去测试vit
目前效果不佳