https://money.udn.com/money/story/5612/7698948
2024年1月10日15︰30︰32
经济日报记者李孟珊／台北即时报导
群联于交大分享生成式AI落地解决方案 学生：获得启发性
NAND Flash控制IC厂群联（8299）日前于国立阳明交通大学举办生成式AI的落地解决方案
发表会，参加的同学在会后于网络上分享心得，大赞作为一个处于有在设计语言模型的研
究生来说，得到极具启发性的资讯。
群联曾说，在ChatGPT等超大型AI模型的兴起，带动AI人工智能于未来可能辅助企业与个
人的无穷想像空间，也因为AI模型的成长速度极快，导致提供AI服务的硬件建构成本大幅
提升，其主要原因为现行AI模型主要运行于GPU与DRAM当中，但未来AI模型的成长速度将
远超过GPU与DRAM可供给的量。
根据微软研究报告指出，AI模型的成长速度将会是GPU卡中的DRAM成长速度的200倍，换言
之，现行的AI运算硬件架构成长速度可能已无法满足AI应用的需求。
据悉，群联自主研发的AI人工智能运算服务“aiDAPTIV+’”，是透过群联独创整合SSD的
AI运算架构，将大型AI模型做结构性拆分，并将模型参数随应用时间序列与SSD协同运行
，以达到在有限的GPU与DRAM资源下，最大化可执行的AI模型，预计能有效降低提供AI服
务所需投入的硬件建构成本。
群联将相关知识往下扎根，先前在国立阳明交通大学举办生成式AI的落地解决方案发表会
，有一名在做语言模型的研究生，于网络上指出，在听完发表会后，这样一个解决训练大
型语言模型受硬件规格限制的创新方案，对他来说，获得了具启发性的资讯。
该研究生说明，在过去的实验中，他经常遭遇到硬件规格不足的限制，使得他难以训练更
大的语言模型，不过此次群联的发表会上，提供他许多的思路和解决方案，特别是成本更
低、更有效率的硬件构想，这让他期待未来能够以更合理的成本配置硬件，训练像
LLaMA-13b这样的大型语言模型。
换言之，意味着实验室无需投入高昂的成本购买A100等硬件，仍能拥有专业且具有成本效
益的配置。