Nvidia 最大梦魇来临！AI 聊天机器人执行 Groq LPU 比 GPU 快十倍
http://tinyurl.com/2y4cehyv
不论何种 AI 应用，速度非常重要。当我们要求热门 AI 聊天机器人撰写文章、电子邮件
或翻译文稿时，我们会希望输出结果愈快愈好。如今一家专为运行 AI 语言模型设计客制
化硬件，并致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈现
结果。
Groq 专为 AI、机器学习和高效能运算应用程式开发高效能处理器和软件解决方案，千万
不要和马斯克（Elon Musk）的 Grok 聊天机器人混淆，它并非聊天机器人，而且这家总
部位于加州山景城（Mountain View）的公司目前没有打算要训练自己的 AI 语言模型，
而会致力让其他公司开发的模型高速运行。
当前几乎所有 AI 工具都使用 GPU，但 Gorq 却使用截然不同的硬件，亦即专为处理大型
语言模型（LLM）而设计的 LPU（Language Processing Unit，语言处理单元）。
由于 Groq 的 LPU 专门设计用于处理像是 DNA、音乐、程式码及自然语言之类的资料序
列，因此在这类应用方面的处理效能远胜 GPU。该公司宣称，其用户已经使用其引擎和
API 运行 LLM 模型，其运行速度比基于 GPU 的替代方案快 10 倍。
目前 Grog 在自家官网上提供基于三种不同 LLM 模型（目前提供的模型包括 Meta 旗下
Llama 2、法国新创 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B）的聊天机器人，
使用者可以免费尝试在 LPU 加持下的聊天机器人和一般 GPU 支援的效能有何不同