原文标题：
大模型Groq首秀引爆话题 自研LPU服务速度远快于GPU
原文连结：
https://news.cnyes.com/news/id/5457929
发布时间：
2024-02-20 16:50
记者署名：
钜亨网新闻中心
原文内容：
ChatGPT 的新竞争对手 Groq 推出了语言处理单元 (LPU)，并于近期首度公开成果。当提
示模型时，答案立即产生。 而且，答案是依据事实，并引述来源，长达数百字，这让它
在社群媒体造成轰动。
Groq 凭借的武器是语言处理单元 (LPU)。 这项尖端技术的速度接近每秒 500 个 token
。 它为数位处理的速度和效率树立了新的基准。LPU 能将延迟降至最低而脱颖而出，提
供了迄今为止闻所未闻的服务速度。
据报导，Groq 的 LPU 旨在解决 CPU 和 GPU 等旧技术的限制。 当面对大量运算需求时
，传统的处理架构往往无法满足要求。 Groq 使用新的张量流处理器 (TPS) 架构来实现
LLM 运算。 凭借其快速推理和降低功耗的承诺，TPS 和 LPU 有望改变处理资料的方式。
据 X 平台帐号 k_zer0s 发文表示，Groq 的 LPU 不需要像 Nvidia GPU 那样快速的资料
传输，因为它们的系统中没有 HBM。它们使用 SRAM，其速度比 GPU 使用的速度大约快
20 倍。由于推理运行使用的资料比模型训练少得多，因此 Groq 的 LPU 更节能。与用于
推理任务的 Nvidia GPU 相比，它从外部内存读取的资料更少，功耗也更少。
LPU 的运作方式与 GPU 不同。 它使用临时指令集电脑架构，因此不必像 GPU 使用高频
宽内存 (HBM) 那样频繁地从内存重新加载资料。 这有助于避免 HBM 短缺问题并降
低成本。
LPU 不像 GPU 需要超高速储存。 Groq 声称其技术可以凭借其强大的芯片和软件在人工
智慧任务中取代 GPU。
Google TPU 专案的先驱 Jonathan Ross 于 2016 年创立了 Groq。该公司迅速确立了自
己在处理单元创新领域的领导者地位。 Ross 在人工智能和处理技术方面的丰富背景推动
了 LPU 的发展。
Groq 公司宣称，其技术能够透过其强大的芯片和软件，在推理任务中取代 GPU 的角色。
Ross 曾表示，“Groq 的存在是为了消除‘富人和穷人’，并帮助人工智能社群中的每个
人发展。 而推理是实现这一目标的关键，因为‘速度’是将开发人员的想法转化为商业
解决方案和改变生 APP 的关键”。
心得/评论：
如果真如报导所声称的那么强, 那么算力的要求就不需要那么高?
成本可以大幅下降，对Nvidia是个挑战
另外该技术似乎不需要大量HBM，对这半年HBM的概念股MU、海力士也是挑战