你太腿了= = 你会惊讶有人把R1放在手机上测试
就代表你跟这个行业完全不熟= =
对于开源也很不熟
两年前就有llama2, GPT2各种大小的模型随你下载
在手机上头跑我们只考虑你的model size 你是llama DeepSeek 还是阿萨布鲁8.7都没差
玩家土炮都会比公司快 因为不用在意用户体验 只是像是一个大学生专题等级的东西
会动就好
依照2025年的手机 紧绷能跑个4B这个大小的模型 用INT8 大概需要4GB的内存
如果是用INT4 大概对半 只需要2GB 一些关键的参数会用到Q5_0效果会比较好
但是一个AI模型占用2GB内存有点夸张 通常比较适合的是100M~1B 这个大小的模型
像是R1 1.7B 用INT4 or Q4_1这种 大概900MB 对于现代的手机而言不是什么问题
差别只有token rate而已
你用纯CPU也能跑 甚至跑得还不差 完全够自用
只是GPU更适合 因为同样的耗能 token rate更高
你只追求会动 那什么东西都行
追求不高的token rate 你的桌电就行
追求商业等级的token rate 目前只有GPU行
大概是这样
: 当一堆人在炒DS抄袭 盗用 其实也用了五万颗H100没什么了不起的时候
: 全球玩家已经有人试着把DS离线安装在手机上测试
: 发现这东西真的可以大幅减少对硬件的需求
: 而且最可怕的是这东西还开放原始码给大家使用
: 有人下载了671B到自己个人电脑建模
: 而这对市场整个行业的发展方向其实是很大的冲击吧
: 有没有这种开源给全球玩家去玩的八卦??