※ 引述《h0103661 (单推人) 每日换婆 (1/1)》之铭言
: 公测一天了明天发布
: 原生多模态
: 然后速度超快，几乎都在400tps左右，甚至有600+
: 远比其他AI包括现在的ds快好几倍甚至十倍
: 这不太正常，以前只有扩散模型或特制硬件能做到
: 难道真的华为芯片发力了？
: 看别人跑分比4 pro还有glm高
: 我用起来没啥区别，可能是我写的东西都不难
开源了，公布答案
新的解码系统：prefill只要一半参数
新的查表系统：engram提供能快速调用的额外参数
新的注意力系统：1M上下文只要800MB
整体模型从284B提升到552B
但速度不减反升
这有点厉害
而且api又降价了，-60%