网志没有比较好读版:
https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html
七年前古文: #1MMGYTuc (Storage_Zone)
自从组 FreeNAS 已经过了七年，特别写一篇 blog 详述中间各种变化与升级，下面条列
升级重点，给没时间细读的人参考:
内存加满 - 128G
加了一张 PCIe NVMe 扩充卡
把开机 USB 换成 NVMe
再多加一张 NVMe 当成 L2ARC
硬盘就地升级成 8TB
拆外接硬盘，改 SATA 电源接头
用 smartctl 跟 badblocks 压力测试硬盘
阵列重组 (resilvering)
升级区网，终于让主机板上的 10G 网卡解除限制器
CIFS 效能从 3.5Gbps 提升到 5.45Gbps
对细节有兴趣的请继续往下看...
在 FreeNAS 上面跑几个比较肥的 VM，内存有多少都不够用。因此把内存加满这种事
情在经过大脑思考前，膝盖都已经下单结帐完了。不过每次重开机，VM 也会跟着一起重
开，不太方便，后来就把 VM 上跑的东西慢慢移到另外一台机器上跑 docker。
古早以前，FreeNAS 开机是放在 USB 上面，但自从 11.1 后，开机碟会有频繁的读写，
官方建议放在正常的硬盘上。（当然我是直到 USB 碟挂点了才知道这件事情。） 但这张
主机板已经没有多余的插槽装二个开机碟。
还好主机板上还有一个 PCIe x16，我当然也可以装一张 HBA 扩充卡，或者是这个闪闪发
光的神奇装置 (ASUS Hyper M2 扩充卡)，而且正好主机板有支援 PCIe bifurcation，唉，我的膝盖又下单了...
而且好像可以多插几张NVMe... 那就顺便加个 L2ARC 好了！
不过对效能影响最大的升级不在机器本身，当我把区网升级到 2.5G / 10G 后，限制器整
个解除，六颗 WD Red 4TB 竟然 CIFS 可以维持在 3.5Gbps，整个跌破眼镜。
不久后武汉肺炎（与它的变种们）就爆发了，加州还因为野火太旺，直接进入妈的刀锋战
士，接着供应链炸裂，跟不知道哪个天才发明的奇亚币，让硬盘价钱跳了好几阶，我的升
级计画就暂时被搁置了...
直到某一天在附近的沟子口看到特价硬盘，我的膝盖就拿出信用卡下单了。但这特价硬盘
需要稍微处理一下才能用，要先从外接盒里把硬盘拆出来，并且把 SATA 电源接头第三脚
用绝缘胶带贴起来（用 Molex 转 SATA也可以）
接上去确定硬盘都抓到以后，就开始烧机测试（注意，以下的烧机测试会同时烧掉硬盘上
的资料），用 smartctl 短长各跑一轮，接下来用 badblocks 进行读写测试（ -c 用大
一点会跑稍快），测试完后再跑一次 smartctl long... 这颗 8TB 总共花了 110 小时才
跑完（建议全部接上去，一口气压测）。我另一台机器只有 4 SATA port，只好分二批测
。
（测完以后发现有二颗硬盘读写稍微快一点（2%），不知是硬盘乐透，还是正常的效能浮
动。）
烧机烧完确定没有不良品，SMART 数值正常，就可以上线啦！利用 resilver 机制一颗一
颗慢慢换，每次 10 小时，换到后面越来越快，可能是因为从 5400 转升级到 7200 转，
让整体效能慢慢增加的原因吧？换完 raid z2 pool 容量就自动升级到 8TB x (6-2)
最后 CIFS 实测，cache miss 可以维持在 5.45Gbps，disk busy 大概在 80% 左右，看
来在区网全面升级成 10Gbps 之前，这台可以再战个几年没有问题。