位置编码

楼主: sustainer123 (caster)   2025-11-27 18:07:18
我就想说vit应该不用sin/cos
用1234固定编码就好
原来attention is all you need是sin/cos
vit那篇是1234
不过也有cv的vit用sin/cos
实验一下看有没有改善 姆咪
作者: chuegou (chuegou)   2025-11-27 18:10:00
还以为是格雷码

Links booklink

Contact Us: admin [ a t ] ucptt.com