Re: [心得] FreeNAS / TrueNAS 七年之痒(?)

楼主: hazemay (冲吧~~阿斯啦)   2022-10-12 07:53:52
看到了这篇文章刚好来分享一下最近大概半年的折腾经验,内容有点长的流水帐。
请斟酌观看,谢谢
一开始没有要搞自组NAS,自组NAS完全就是自己白痴挖了一个坑给自己
因为工作的需要见大量的VM来模拟客户的手上环境,并且在布署上客户正式机前
能够多做几次的验证,所以购买了一台双CPU的洋垃圾(18CORE/一颗,共72执行序)
256GB ECC DDR3(本来想打鸡血BIOS,但是后来发现瓶颈在硬盘就先搁置)
安装了ESXI 6.7免费版授权,VM上线后就发现硬盘就是我自己挖的坑,
本来想说买一个10TB的传统硬盘就够了。
结果远远不够,开一两个VM就已经把SATA 6Gb/S塞爆了。
接下来因为没有预算,
后来在网络上爬到了ISCSI的方式可以用,在既有的QNAP的NAS上开了一个POOL
把ISCSI打开,然后.....抓不到。ESXI怎么样都抓不到QNAP的ISCSI的服务
最后发现了ESXI+FREENAS的实际应用范例。
我就开始在库房里面翻找
凑了6颗1TB有5400&7200的硬盘、i7-4770K的主机、16GB的内存、1颗128GB的SSD
另外领了一个USB3的外接盒跟16GB的随身碟就开始了我的自建NAS之旅。
把I7-4770K的内建Quadro P600拔起来改内显(反正只要亮机)
TRUENAS安装在外接随身碟(没办法,预算评估没做好只能自己吞)
6个1TB做RAIDZ(好像等同RAID5)勉强有个容错就行,
为了增加效能就把SSD装在USB3外接盒,做快取。
照网络文章设定的就抓到ISCSI硬盘空间了,接下来把VM从内建10T转移到ISCSI中
VM常驻4个目前效能都足够,至少告一段落了
后来又在库房翻到E3-1231V3的主机,恰好原本的4BAY的NAS退役。
把2T*4的NAS组上去,原本的I7-4770K上的RAM拆一半给E3用
E3-1231 V3 + 8GB + 亮机卡 + 2T*4 + 16GB随身碟搞起来变成第二组TRUENAS
准备拿来当正式NAS的第三备份。(4BAY NAS因为主板挂了只好让他退役)
感觉还是蛮基本的应用,远远比不上元PO大大的极限玩法。
分享到此,谢谢大家。
※ 引述《tonysan (旅法师)》之铭言:
: 网志没有比较好读版:
: https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html
: 七年前古文: #1MMGYTuc (Storage_Zone)
: 自从组 FreeNAS 已经过了七年,特别写一篇 blog 详述中间各种变化与升级,下面条列
: 升级重点,给没时间细读的人参考:
: 内存加满 - 128G
: 加了一张 PCIe NVMe 扩充卡
: 把开机 USB 换成 NVMe
: 再多加一张 NVMe 当成 L2ARC
: 硬盘就地升级成 8TB
: 拆外接硬盘,改 SATA 电源接头
: 用 smartctl 跟 badblocks 压力测试硬盘
: 阵列重组 (resilvering)
: 升级区网,终于让主机板上的 10G 网卡解除限制器
: CIFS 效能从 3.5Gbps 提升到 5.45Gbps
: 对细节有兴趣的请继续往下看...
: 在 FreeNAS 上面跑几个比较肥的 VM,内存有多少都不够用。因此把内存加满这种事
: 情在经过大脑思考前,膝盖都已经下单结帐完了。不过每次重开机,VM 也会跟着一起重
: 开,不太方便,后来就把 VM 上跑的东西慢慢移到另外一台机器上跑 docker。
: 古早以前,FreeNAS 开机是放在 USB 上面,但自从 11.1 后,开机碟会有频繁的读写,
: 官方建议放在正常的硬盘上。(当然我是直到 USB 碟挂点了才知道这件事情。) 但这张
: 主机板已经没有多余的插槽装二个开机碟。
: 还好主机板上还有一个 PCIe x16,我当然也可以装一张 HBA 扩充卡,或者是这个闪闪发
: 光的神奇装置 (ASUS Hyper M2 扩充卡),而且正好主机板有支援 PCIe bifurcation,唉,我的膝盖又下单了... 
: 而且好像可以多插几张NVMe... 那就顺便加个 L2ARC 好了!
: 不过对效能影响最大的升级不在机器本身,当我把区网升级到 2.5G / 10G 后,限制器整
: 个解除,六颗 WD Red 4TB 竟然 CIFS 可以维持在 3.5Gbps,整个跌破眼镜。
: 不久后武汉肺炎(与它的变种们)就爆发了,加州还因为野火太旺,直接进入妈的刀锋战
: 士,接着供应链炸裂,跟不知道哪个天才发明的奇亚币,让硬盘价钱跳了好几阶,我的升
: 级计画就暂时被搁置了...
: 直到某一天在附近的沟子口看到特价硬盘,我的膝盖就拿出信用卡下单了。但这特价硬盘
: 需要稍微处理一下才能用,要先从外接盒里把硬盘拆出来,并且把 SATA 电源接头第三脚
: 用绝缘胶带贴起来(用 Molex 转 SATA也可以)
: 接上去确定硬盘都抓到以后,就开始烧机测试(注意,以下的烧机测试会同时烧掉硬盘上
: 的资料),用 smartctl 短长各跑一轮,接下来用 badblocks 进行读写测试( -c 用大
: 一点会跑稍快),测试完后再跑一次 smartctl long... 这颗 8TB 总共花了 110 小时才
: 跑完(建议全部接上去,一口气压测)。我另一台机器只有 4 SATA port,只好分二批测
: 。
: (测完以后发现有二颗硬盘读写稍微快一点(2%),不知是硬盘乐透,还是正常的效能浮
: 动。)
: 烧机烧完确定没有不良品,SMART 数值正常,就可以上线啦!利用 resilver 机制一颗一
: 颗慢慢换,每次 10 小时,换到后面越来越快,可能是因为从 5400 转升级到 7200 转,
: 让整体效能慢慢增加的原因吧?换完 raid z2 pool 容量就自动升级到 8TB x (6-2)
: 最后 CIFS 实测,cache miss 可以维持在 5.45Gbps,disk busy 大概在 80% 左右,看
: 来在区网全面升级成 10Gbps 之前,这台可以再战个几年没有问题。
作者: changchichun (Eric Chang)   2022-10-12 17:56:00
现在新的TRUENAS似乎不建议装在随身碟上了
作者: YouCantGetME (高级攻城师)   2022-10-13 21:59:00
ESXi不吃Intel RST RAID
作者: asdfghjklasd (好累的大一生活)   2022-10-16 22:22:00
Softraid 当然不吃啊,商用的谁跟你用 softraid

Links booklink

Contact Us: admin [ a t ] ucptt.com