严格来说是gcp员工的个人报告
https://medium.com/google-cloud/1-million-tokens-per-second-qwen-3-5-27b-on-gke-
with-b200-gpus-161da5c1b592
懒人包：
把Qwen 3.5放到96张B200平行运算
最高速度1,103,941 token/s
最终瓶颈不是模型而是分流节点忙不过来了
缺点
使用mtp所以有失真风险
KV cache太重，实验用1500就极限了
给大家一个对比
现在大部分AI的速度不到100tps
这个是一万倍
0.0

太夸张

1500是指context window吗 这么小不能干嘛吧

反正台湾就卖铲子就好,算法就让大厂厮杀

对，就真的这么小，往上加一点点都得丢掉几个节点

上下文1500 读了个啥

吐了

笑死

好猛喔，但是unity还是得自己挂插件的部分可以进步一下吗？自己挂好累==

看起来是实验室的技术