Re: [请益] 魔改旧显卡

楼主: neo5277 (I am an agent of chaos)   2025-02-02 23:48:56
在以前模型聪不聪明是用有多少超参数决定的
因为他是从0,慢慢学习变化到100
所以脑容量不够大,就不够聪明。
从1~100的过程,除了初期资本开支,server ,温控,显卡芯片,电力,人力,资料
完完全全的资本密集。
DS 知识蒸馏,跟其他的优化,基本上就是一种钱跟时间用在刀口上
开源世界就是这样,我不会从01开始写程式。
回到这个主题,会需要显卡主就是他是多颗运算中心机制,同时做矩阵运算。
很多人应该知道了,DS母公司,是AI交易的私募基金,从开始到财富自由来做模型
已有十几年,你说要调控这种平行运算模式我想它们本身是满有经验的。
再来就是不是只有它们一间公司在这样玩。
至于有人用自行车跟保时捷比喻,我觉得你可能搞错一些事情
GPU的优势恰恰就是量,一海票简单计算推过去这样。
其实主要重点是,PTX只有N家支援,他是中介层,但是你要做逆向可以从CUDA,跟PT
X转换还有研究这个指令及如何去跟硬件作配合互动,这是一件很难的事情。
要瞎子摸象满久的,一般正常人应该是不会想去搞这个,but 如果你是处于
被围困的状态,我想不做都不行吧,中国这种Geek 等级的人很多很多,开源精神
更是推动这群人的动力,不过我想目前应该是都只限于N家的卡,要完全逆向到可以
自建指令及跟设计对应的硬件,又要跨越台积的良率我觉得有相当大的困难。
就算他们去找三星合作,也不会这么快,川普的美国制下,应该不太会有国家
想去做这种事情,摩尔线程,应该也没有这么快逆向出来。
最有可能的是MAC 跟发哥要做GB10 芯片的DIGITS,这个我觉得只要你是研究人员
或是有在摸得都会很想要个几台,因为太划算了,看看到时候成品如何。
大家可以关注是谁做这块组装跟上下游,再次DS就是给了一条很亚洲的思路
不管软件硬件都降低到一个极致,土炮得很完美,到每个平台都被吓到之后照抄。
这真的不是算力富翁跟自由的人会去关注的,就是因为穷才会去做这些事情。
穿皮鞋的怕穿草鞋的穿草鞋的怕打赤脚的。
反正GG 就关税以外的层面来说应该都还是优势,N也是一样。
最大变量,现在反而变成美国了(摊手~
作者: chemistry520 (Mr.艾拉)   2025-02-03 00:56:00
这篇含金量有点高XD

Links booklink

Contact Us: admin [ a t ] ucptt.com