※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言：
:
: ※ 引述 《sustainer123 (温水佳树的兄长大人)》 之铭言：
: : : 先试试原版好了
: : :
: : : 搓一个跑看看再说
: : :
: :
: : 魔改完成 参数量感觉会爆炸
: :
: : 但先试试:(((
: :
: : 明天看看能不能跑通
: :
: : 大致上就decoder改了一些
: :
: : 改接upernet
: :
: : encoder就没差
: :
: : 毕竟NLP的transformer跟vit本质上没差
: :
: : 而且model dim应该能设更小
: :
: : 这样某方面来说应该能压参数量
: :
: : 反正跑看看
: :
:
: 改了两个小部分
:
: 第一个是前面加上降维 看起来效果不错
:
: 第二个是把token merge改成swin transformer的样子
:
: 这个提升很多
:
: 有待继续测试
:
前面再加一个时间模组
不用attention改成cnn
然后再接卷积降维
没啥提升
有待大量调参
这模型真的跑有够慢
多卡才跑快一些
单卡跟乌龟一样
attention可怕