part 2 来了
这台主机前后花了半年才完成完全体
这个机壳不装硬盘上去怎么能看呢？
https://i.imgur.com/mt4aP45.jpeg
https://i.imgur.com/1oRi8yO.jpeg
但是插满需要五个 SATA 孔，主机板只有两个，需要扩充卡
我甚至还有一张 10G 网卡，但是唯一的 PCIe 插槽拿去插显卡了
怎么办呢？当然是从 M.2 上动脑筋啦
https://i.imgur.com/cxMPVWy.jpeg
https://i.imgur.com/qJoveNo.jpeg
https://i.imgur.com/jgq8Ght.jpeg
https://i.imgur.com/WctUohz.jpeg
一个 A+E key 来自无线网卡，拔掉改插 SATA 扩充卡
芯片选用 ASM1064，为 PCIe Gen3 x1 to SATA x4 控制器
我特别选择 Mini SAS 接头的 M.2 扩充卡
仅需一接头即可转出四个 SATA 接头，减少布线空间
并透过 M.2 A+E key 转 M key 延长线转接
由于此主机板 A+E key 仅能提供一个 PCIe Gen3 通道
计算后接三颗传统硬盘效能不会成为瓶颈，况且主控芯片也只能 x1
若是接 SATA SSD 就不够用了
线材除了 SFF-8087 to SATAx4 外，还有两条接主机板的 SATA 线
都是已经用好几年的安费诺无铁扣 L 头，这次也淘了几条新的回来
拔插不需按压铁扣，在狭小机身内更易于安装，并且不伤硬盘接头
安费诺线材品质有保证，而且卡扣够紧不会松脱
不过那条 SFF-8087 的就有铁扣了
另一个 M key 来自主机板背面，插 Intel X550-T2
X550-T2 为 PCIe Gen3 x4 双埠 10 GbE RJ45 网卡
刚好填满主机板背面的 M.2 Gen3 x4 并透过延长线转接
但放的位置就很尴尬，最后仅剩显卡后方空间有位子
放在这里有两个问题：
1. 网络线转接
手压一条延长线解决
https://i.imgur.com/TmSYngT.jpeg
2. 散热
X550-T2 本身发热量就不低，以目前配置若仅靠被动散热会当机
最后加了一颗风扇解决，刚好拿之前多的 A9x14 用束带绑一绑
https://i.imgur.com/c4Lbmq0.jpeg
谈到风扇，由于电源压在主机板上方，有明显的抢风道问题
https://i.imgur.com/raYeTNF.jpeg
后来将风扇反过来装后待机温度降了三、四度 (上图还没反过来)
除了加装的零件外，小机壳必备客制电源线当然也有上
https://i.imgur.com/dUPMTk6.jpeg
但 372 把我的硬盘电源线做错了...
https://i.imgur.com/pAYFUuN.jpeg
应该有三个大 4P 一个 SATA 电源线的，结果全部做成 SATA 电源
而且接头间距也是错的，其中一条应是 58mm 结果只有 50mm
联络客服后他们会再寄新的给我
还好在找 372 前，我有先找台湾某知...名...店家帮我做一组
没错就是乡民想的那家，因为当时嫌上淘宝订很麻烦
不过我对选用的线有点后悔，加上 ATX 线长度稍嫌不足，才又订了一组
但就结论而言，上淘宝订真的很麻烦 XD
知名店家的收费贵但至少规格没搞错，就是接头狗干难插
不过价格差了快五倍，不嫌出卖个资跟转运麻烦的话... 嗯
淘宝跟着订的还有一个有 2.5G 网孔的 USB-C Hub
这是买给 MacBook 用的，为了外接第二个萤幕及有线网络
https://i.imgur.com/gqoduUX.jpeg
https://i.imgur.com/58T67zW.jpeg
https://i.imgur.com/Min4OHX.jpeg
很划算，价格大约一千出头，就能以 2.5G 高速存取 NAS
至于 Mac 用的 Thunderbolt 10G 网卡还太贵，我先用 2.5G 就好
而旧的 USB-C Hub 甚至可以转给这台 ITX 主机使用，后面会讲到
附带一提 QxxP 的 TB3 10G 网卡请接 SFP DAC 线使用
接 SFP to RJ45 会过热，传一传会死给你看
硬盘则是以成本考量为主，买重新认证与服务器拆机碟
透过 RAID 与异地备份保护
当然还是有几颗全新台湾有保的硬盘，例如这颗 WD 金标 (基本等同 HC550)
https://i.imgur.com/iZSrW7J.jpeg
因为少一排螺丝装不上硬盘架，最后把导轨中间凸点剪掉磨掉硬上
其实联力的硬盘架都是共用的
我也可以拿另一台 PC-K9X 的螺丝来装，就不用对导轨动手
我有跟联力订购新的硬盘螺丝，
毕竟旧的都锈的差不多了，顺便连 K9X 的黑色螺丝一起买
大推联力现在还能买到十年老壳配件
硬件的部分就谈到这边，接下来谈谈软件
其实一开始就准备好上 PVE 了，装上 TrueNAS Scale 与 Windows
中间各种坑与雷，真的印证 Linux is free if you don't value your time
不过我就喜欢搞事！
这两个主要 guest VM 都有 PCIe passthrough 进去
TrueNAS 放了两个 SATA 控制器 (AMD SATA + ASM1064)
Windows 放了显卡与一个 USB root hub device
除了显卡直通 Windows 得以打游戏外，直通 USB root 好处是
USB 装置插上对的孔可以直接被 Windows 识别，不需经 PVE 转译
上面提到旧的 USB-C hub 就是为了让 Windows 使用，
所有接到这个 hub 的键盘鼠标读卡机以及音源孔都是直通 Windows
若没有将 USB root 直通给虚拟机，
那么每次插新的 USB 装置都需要到 host 设定里新增，非常麻烦
因此这个配置用起来有如原生 Windows 主机，除了不能打枫之谷外
附带一提我的萤幕有 KVM，可以快速切换 MacBook 跟 Windows 主机
TrueNAS 直通 SATA 控制器则很好理解，可以直接存取硬盘
五颗硬盘使用 ZRAID2 提供两颗冗余
并以 SMB 分享给 Windows 与另一台 Linux VM，以及 MacBook
只是... ZFS 非常吃内存，Windows 更不用说
32G 在这个情境下捉襟见肘，于是就不小心捡到...
https://i.imgur.com/u65EM7A.jpeg
64G两台主要 VM 各分 16G，剩下还可以再分几台机器用，终于够用了
然而这半年来除了等零件慢慢组起来外
系统也不稳定，曾经遇过 Windows VM 开机用几分钟就整台当掉
或是开机发现网络死去，PCIe 无法直通虚拟机
后来慢慢除错后发现主要是几个问题：
1. 网卡过热
跑个几天后就会带 switch 一起下去，拔掉网络线则恢复正常
加风扇解决
2. 内存不稳
这是后来帮别人修电脑时发现的，memtest86+ 不通过
结果他的内存没事，反倒是我的有问题
只要跑 DDR5-6000 就会失败，4800 则正常
坏掉的是威刚的 16Gx2，幸好后来买的金士顿 32Gx2 正常
威刚的甚至送修没货可以快换，等了快两个礼拜才拿到
3. BIOS 设定
a. Resizable BAR 不能开，否则 Windows VM 会遇到显卡 error 43
b. SR-IOV 相关功能要开，否则 USB root hub 与 SATA 控制器不能直通
并且会造成网卡开机被停用
SR-IOV => Enabled
PCIe ARI Support => Enabled
IOMMU => Enabled
c. 内显留给 PVE host 做 debug 用
所以要强制启用内显，并分配最少的内存给内显使用
iGPU Configuration => UMA_SPECIFIED
Integrated Graphics Controller => Customize
UMA Frame buffer Size => 64M
除了 VM 的问题，host 系统抓不到 HW monitor 也是个问题
跑 sensors-detect 没有就是没有，只有 k10temp (CPU 温度) 可以看
华擎当然没有提供 Linux 驱动程式，只能自行解决
查主机板说明书，有提供 block diagram，可以看到
提供监控功能的 super I/O 是 NCT6686D
用这个型号去查，发现 kernel in-tree 就有一个 nct6683 驱动可以用
但如果可以用就应该抓的到，手动 modprobe 结果是... 不行
下了 force=1 是可以抓到，但电压全都是错的，PWM 看的到转速控不了
后来找到一个 out-of-tree 驱动 nct6687 可以控 PWM 风扇转速
但是电压也还是错的，甚至没有读完全部的电压与温度
最后还是要靠自己修，花了整个周末恶补相关知识
把上面提到两个驱动整在一起，弄出一个缝合怪
疯狂 google 查 V/Temp IN 定义，把电压与温度对应表补上
终于把该弄上去的都弄上去了，并且可以控 PWM
https://i.imgur.com/oyX1KN3.png
k10temp 是 AMD CPU
nvme 是 WD SN850X，系统碟
amdgpu 其实是内显，独显已直通，不会显示在这里
nct6686 即主机板 super I/O，华擎请给我钱 (X
现在搞到这边，就缺 372 补线给我
其他系统问题都解的差不多了，剩下把各种服务装上去而已