1. PTT
  2. Marginalman

位置编码

楼主: sustainer123 (caster)   2025-11-27 18:07:18
我就想说vit应该不用sin/cos
用1234固定编码就好
原来attention is all you need是sin/cos
vit那篇是1234
不过也有cv的vit用sin/cos
实验一下看有没有改善 姆咪
作者: chuegou (chuegou)   2025-11-27 18:10:00
还以为是格雷码
继续阅读
Re: → kitune : 怎么就没人要cue别人PogChampLUL[闲聊] 香港大火竟讽“无限城、101烟火” 港网nh60211asRe: [闲聊] 队长好婆喔jeffreysehRe: [ZZZ] 危局强袭战MegacolonRe: [闲聊] 边版让我最破防的事redDestRe: [闲聊] 星塔怎么感觉Excrement35[闲聊] 蓝宝宝上新片waitan[爱噗哩] 祕密的偶像公主 10ozennisRe: [闲聊] 普男的特征 帮大家踩雷peter6666712[R团] ReGLOSS圣诞粉丝见面会kevinlee2001

Links booklink

Contact Us: admin [ a t ] ucptt.com