本宅理解是这样:
1. 模型越大越聪明 模型越小运行越快
但随着技术进步 小模型也会变聪明
2. "量化"是指把大模型删减为小模型 仍尽量维持模型智能的技术
量化技术也不断改善
3. 这两年有一个新技术叫MOE 他原始的意义
其实主要是为了让大模型运算加速 (让大模型跟小模型一样快)
但因为其特性(稀疏) 让很多采用MOE架构的模型
在"量化"时也可以更保留模型智能 (这段关联我也不是太懂)
所以结果小模型更快 效果更好
4. 但量化其实也会让模型运行变慢(有点像是要unzip)
5. 然后其实是开源和闭源模型一起进步
只是我们一般用户只能看到闭源模型尺寸变小
发现首篇好像没点 补一下
所以结论就是像2楼说的 以后每个人手机都可以养chobits
作者:
skyofme (天空人)
2026-08-11 08:20:00因为开源只要有人想做就能做,所以你只关心特定功能,开源的进度可能会比较快没开的就只能看维护的人选择怎么做
作者: jakai (鹦鹉还真爱唱歌) 2026-08-11 08:37:00
应该说手机上跑的模型会越来越聪明,知识纯量还是会受限
弄出超强大模型 再用它做小模型Qwen gemma4 还有最近祖克伯出的都是这样
作者:
jupto (op)
2026-08-11 08:54:00手机有联网能力干嘛本地跑模型? 这个需求应该会更倾向于在车载或无人机这种无法保证联网稳定又有即时需求的终端上
作者:
jupto (op)
2026-08-11 09:01:00我觉得与其发展手机跑的本地模型 应该会发展成厂商直接提供线上的高隐私模型
作者:
skyofme (天空人)
2026-08-11 09:01:00连回自家本地比较合理就是了
作者:
skyofme (天空人)
2026-08-11 09:02:00真的能在手机本地部署大概也割了蛮多能力的线上服务目前就一个问题你有没有比较敏感的需求
作者:
labbat (labbat)
2026-08-11 09:05:00手机AI修图已经落后了,影片锐利化也是,现在是AI助理
至少本地能省钱 等这一波AI大逃杀结束 活下来的可以任意涨价 想了就可怕
作者:
skyofme (天空人)
2026-08-11 09:06:00不讨论犯刑法的,有版权议题的就很难保证稳定
作者:
jupto (op)
2026-08-11 09:08:00就算有敏感需求 也能靠保密契约或是加密技术保证敏感资讯的安全 因为这个需求去阉割性能不划算
你手机不发展本地模型,在摄影、拍照、翻译等对即时性要求极高的需求时要怎办?你等的起那几秒?在网络未普及的国家、或根本没讯号,或因为人太多网络壅挤的地区怎办?
作者:
jupto (op)
2026-08-11 09:12:00本地省钱就完全看你性能要求跟不跟的上时代了 人家数据中心的成本摊提比你本地架有优势多了 跟着时代浪潮的性能需求你拼不过那些巨头
作者:
qss05 (minami)
2026-08-11 09:16:00手机还是先解决电池的问题吧,还没用模型就已经不够用了,一堆人说什么他可以手机用两天,那根本没在用吧,以后跑模型,干什么都像玩手游的,能用半天就偷笑了
作者:
skyofme (天空人)
2026-08-11 09:18:00只能说面向很多,需求也很多
作者:
qss05 (minami)
2026-08-11 09:18:00而且你跑本地更吃更新跟厂商优化,以后小牌又要死一遍,大牌搞不好都收订阅费
作者:
jupto (op)
2026-08-11 09:19:00摄影、拍照、翻译这种早就有堪用的解方 发展本地AI模型完全就是顺便买噱头而已
作者:
nwkasim (卡西姆)
2026-08-11 10:33:008F好天真,你觉得想画什么图厂商的AI都会让你画?哪天说禁止生成他认为的未满18岁人物,你也拿他没辄
作者:
gbcg9725 (谢谢你9725)
2026-08-11 11:16:00本地Minimax真香线上贵死挡东挡西不过我不觉得手机跑的起来本地就是
作者:
jupto (op)
2026-08-11 11:28:00首先手机跑模型不等于本地跑模型 二来架一个本地跑模型的电脑要多少钱能跑的模型跟不跟的上技术迭代这些都是考量因素当然如果你的口袋深到能随时盖一座数据中心自己养模型肯定最自由 问题是一般人行吗?
模型量化参数量不变 100B量化还是100B 量化的是每个参数储存的精度 粗略譬喻就是圆周率你可以存成小数后32位或直接存成3.14 量化通常只会更快 除非你硬件软件不支援使用的量化方式 闭源模型也都在量化一些新模型刚出很聪明后面变笨就是厂商换成高度量化版本的来省运行成本/服务更多人