群联于交大分享生成式 AI 落地解决方案 学生：获得启发性
2024-01-10 15:30 经济日报 记者李孟珊／台北即时报导
NAND Flash 控制IC厂群联（8299）日前于国立阳明交通大学举办生成式AI的落地解决方案
发表会，参加的同学在会后于网络上分享心得，大赞作为一个处于有在设计语言模型的研究
生来说，得到极具启发性的资讯。
群联曾说，在 ChatGPT 等超大型AI模型的兴起，带动AI人工智能于未来可能辅助企业与个
人的无穷想像空间，也因为AI模型的成长速度极快，导致提供AI服务的硬件建构成本大幅提
升，其主要原因为现行AI模型主要运行于 GPU 与 DRAM 当中，但未来AI模型的成长速度将
远超过 GPU 与 DRAM 可供给的量。
根据微软研究报告指出，AI模型的成长速度将会是 GPU 卡中的 DRAM 成长速度的200倍，换
言之，现行的AI运算硬件架构成长速度可能已无法满足AI应用的需求。
据悉，群联自主研发的AI人工智能运算服务“aiDAPTIV+’”，是透过群联独创整合 SSD 的
AI运算架构，将大型AI模型做结构性拆分，并将模型参数随应用时间序列与 SSD 协同运行
，以达到在有限的 GPU 与 DRAM 资源下，最大化可执行的AI模型，预计能有效降低提供AI
服务所需投入的硬件建构成本。
群联将相关知识往下扎根，先前在国立阳明交通大学举办生成式AI的落地解决方案发表会，
有一名在做语言模型的研究生，于网络上指出，在听完发表会后，这样一个解决训练大型语
言模型受硬件规格限制的创新方案，对他来说，获得了具启发性的资讯。
该研究生说明，在过去的实验中，他经常遭遇到硬件规格不足的限制，使得他难以训练更大
的语言模型，不过此次群联的发表会上，提供他许多的思路和解决方案，特别是成本更低、
更有效率的硬件构想，这让他期待未来能够以更合理的成本配置硬件，训练像 LLaMA-13b
这样的大型语言模型。
换言之，意味着实验室无需投入高昂的成本购买 A100等硬件，仍能拥有专业且具有成本效
益的配置。
https://money.udn.com/money/story/5612/7698948