[PCIe] Panmnesia 开发出新型 CXL 技术,有望突破 GPU VRAM 限制

楼主: ECZEMA (加油!)   2024-07-04 12:03:20
刚在看 HBM 抢夺 DDR5 产能,可能造成 DRAM 价格飙涨时,
旁边 Tom's hardware 刚好在讲新的 CXL 协议可让 PCIe DRAM 甚至 SSD 去当 VRAM 给 GPU 用
搜了下中文刚好有篇热腾腾刚出的,分享给显卡版大家。
照之前 Intel AMD 都支援旧的 CXL 规格来看,新的 CXL-Opt 若也能被支援,将可大幅减化 GPU HBM 成本和系统复杂性
https://is.gd/NL01cu
Panmnesia 开发出新型 CXL 技术,有望突破 GPU VRAM 限制
透过 PCIe 连接内存和 SSD
by JC 2024-07-03 in 新闻
韩国公司 Panmnesia 开发出革命性 CXL 技术,使 GPU 能透过 PCIe 来增加 VRAM,甚至可使用 SSD。
Panmnesia CXL 带来 VRAM 扩充新纪元
现代 AI 和高性能运算 (HPC) 领域的 GPU 受限于内建高频宽内存 (HBM) 的容量,影响其在 AI 和其他工作负载中的表现。然而,一项新技术的出现可能彻底改变这一局面。这项技术允许企业通过 PCIe 总线连接更多内存设备,甚至可以使用 SSD 来扩充 GPU 内存容量。
Panmnesia 突破性技术
由韩国知名 KAIST 研究所支持的 Panmnesia 公司,开发出一种可用于扩展 GPU 内存的 CXL 技术。由于当前 GPU 缺乏支援 DRAM 和 (或) SSD 的 CXL 逻辑架构和子系统,另外,GPU 快取和内存子系统仅识别统一虚拟内存 (UVM),而 UVM 速度较慢。
https://imgur.com/pRxPdTI.png
为解决这些问题,Panmnesia 开发了一个符合 CXL 3.1 标准的根复合体 (RC),其特点包括:
配备多个支援 PCIe 外部内存的根埠 (RPs)。
具有主机管理设备内存 (HDM) 解码器的主机桥接器,连接 GPU 的系统总线。
HDM 解码器管理系统内存的地址范围,使 GPU 内存子系统“误认”正在处理系统内存。
Panmnesia 的解决方案 (标记为 CXL-Opt) 经过广泛测试,显示出令人印象深刻的性能:
往返延迟仅为两位数奈秒,相比之下,三星和 Meta 开发的原型延迟为 250 纳秒。
执行时间比 UVM 缩短 1.94 倍,比 CXL-Proto 缩短 1.66 倍。
IPC 值比 UVM 快 3.22 倍,比 CXL-Proto 快 1.65 倍。
这项技术的出现可能对 AI / HPC GPU 产生重大影响,有望扩充 GPU 内存容量,满足日益增长的 AI 训练资料集需求。另外,也能提高大规模 AI 模型训练的效率,以及延长现有 GPU 硬件的使用寿命,降低企业成本。
然而,仍存在一些未知因素,比如 AMD 和 NVIDIA 等主要 GPU 制造商是否会支援 CXL 技术,甚至他们是否会使用 Panmnesia 等公司的 IP 区块,还是开发自己的技术等都还是未知。
但整体来说,Panmnesia 的 CXL 技术为 GPU 内存扩充开辟新的可能性,不仅可能改变 AI 和 HPC 领域的 GPU 应用方式,还可能推动整个行业向更灵活、更高效的方向发展。随着技术的进一步成熟和可能的广泛采用,可以期待看到更多创新应用和突破性进展。
作者: kkcity59 (kkcityk)   2024-07-04 13:15:00
可是PCI-E就这么慢...还要再透过CPU的内存控制器H100单个GPU内存频宽为3,938 GB/sPCIE 16x 5.0也只有64GB/s第五代的NVLink也高达1800GB/s
楼主: ECZEMA (加油!)   2024-07-05 02:18:00
快绝对没直接安在GPU上快 就算PCIe 7.0 16x也一样 便宜且简化内存厂制程研发 或是HPC模组厂的散热管理 大局观是否各产业都有利,才是会不会被采用的重点

Links booklink

Contact Us: admin [ a t ] ucptt.com