Re: [请益] 想组一台学习机,显卡怎么选择?

楼主: kaltu (ka)   2018-12-13 18:16:50
※ 引述《virginbear (纯洁的熊)》之铭言:
: 因为兴趣使然,想要组一台电脑跑跑机器学习,本身接触 Python 大约半年,对很多
: 东西还不是很了解,因此应该会用 Ubuntu 系统 Tensorflow 架设,想要做的是3D点云的
顺便推坑Keras和PyTorch
: 物件识别,有机会还想建立股票模型。不过手边的预算有限,想要组的电脑希望大约 45K
: 上下。以下我放一下大概的组装方向:
: CPU: R5-2600X (听说3代要出了,不过那个价格我是不信啦!)
: MB: B450 (厂牌太多好难选,目前应该是选艺人高兴配合的吧)
: RAM: 科赋 DDR4 3000 16GB+16GB
: SSD: 美光 BX500 240G
: HDD: Toshiba 3TB (不打折呜应该可以只买单一商品吧!)
: 显卡: ???
: 电供: 酷妈 MWE GOLD 650W 80+金 (基本上还是要看显卡调整的吧)
: 机壳: 旋刚 TG5 (Blue)/(Red)
: 目前想说买一张 1070Ti 来装,因为查了国外一些网站是说这张的 CP 值最高,不过也看
: 到版上有些人说要 1080Ti 甚至是有大大说这些内存未来几年的模型都不够用。
: 想提问的点有:
: 1. 如果MB支援, 2 张 1070Ti 的效能上比不上 1080Ti 吗?
纯论CUDA计算效能的throughput
两张1070是大于1080的(无论Ti)
: 2. 如果真如板上的鲜贝所说内存不够用,可以如第一问的方式 8G + 8G = 16G >
: 11G 吗?
两张8G能不能合成16G
短的答案是,很难
长的答案是
一个神经网络理论上必须能够完全塞进一个CUDA装置的DRAM里面才能跑
这就是老黄区分消费级和运算级卡片的皇家刀法
你觉得为什么1080Ti会有11GB这种不直觉的大小
甚至PCB板都预留了第12颗内存颗粒的位置却不放上去
原因就是为了跟Titan12GB做区隔
Tesla K80 24GB P/V100 32GB 的目的就是为了能够塞更大的网络进去
如果可以很简单地把多卡的VRAM合并在一起大家就买一堆便宜卡片组cluster了
这也的确就是老黄推出 GRID GPU 的思路
透过虚拟化8张或16张Quadro卡,可以形成一个独立的CUDA装置
我推测背后的动机也就是为了解决神经网络越来越肥大却又很难平行化内存的问题
一般来说,如果你有多张GPU想要跑神经网络
那么最简单也最懒人,许多套件例如Keras的multi_gpu_model提供的方法
就是把你的batch平分给所有的GPU
举例来说 如果我有4张显卡
然后我的batch size是32,那么每张GPU就会收到8个batch的资料
也就是说无论这四张显卡的型号如何,内存最少都要能装8个batch的资料
这也代表,如果我一样有四张显卡
那么我的batch size最小就会是4
因为平分之后每张显卡吃的batch最小就是1个
如果低于4那就会有几张显卡idle
所以,两张8G的卡片到底有没有比一张11G的卡片好?
如果你的model只会用到8G以下
那么两张8G可以让你的batch size和训练速度都加倍
如果你的model会用到8~11G
那么很抱歉,你的两张8G显卡只是装饰品
当然你可以参照一些针对这个问题发表的论文
例如vDNN之类的解决方案自行implement他们的solution
但是我觉得难度有点高
我自己是坐等Keras, PyTorch, Chainer之类的套件提出官方版solution
: 3. RTX刚出来,有很多人酸灾情,还有价格上比较High,但是配备图灵架构听起来显
: 卡本身就是人工智能了,会推荐我捏一捏上RTX吗?
图灵架构的Tensor Core的设计目的是在游戏上使用
要解决的问题是加速predicting phase以提供 DLSS 的功能
利用deep learning比较成熟的Super Resolution应用即时提升分辨率
所以这东西的设计目的就不是给你training model用的
他能算的只有矩阵乘法,training phase和predicting phase最大的差异就是这个
training phase有大量的propagation, 微分运算要做,这些都还是要落到CUDA core上面
所以论training phase的性能还是要看CUDA core的运算能力
当然20系列的CUDA core还是比10系列多
但是那个价差……
: 4. 因为新旧卡的价格差异有点大, 1070Ti 或是 1080Ti 可能偏向买2手卡为主,这
: 样的想法适当吗?
电虾都推新品啦
但是我个人是认为考虑VRAM大小和价格的取舍,1080Ti是甜蜜点
而1080Ti现在很难买新品,所以可能你也被迫剩下二手能选了
: 现在花钱偏向是买 1 张 1070Ti 或是 1080Ti,但是因为二手的 1080Ti 价格是 2 张 10
: 70Ti ,所以才萌生一些奇怪的念头!
: 以上,谢谢版上的大大们指教!
: :D

Links booklink

Contact Us: admin [ a t ] ucptt.com