原文标题：
NVIDIA 推出个人 AI 聊天机器人 Chat With RTX 开放下载
原文连结：
https://reurl.cc/zlOepV
发布时间：
2024-02-14
记者署名：
SINCHEN
原文内容：
聊天机器人在各种领域中被广泛使用，并且不少采用 NVIDIA GPU 的云端服务器提供服务
，但对于个人的敏感资料或者企业内部使用的状况下，NVIDIA 推出 Chat with RTX 基于
本机的 RTX GPU 提供生成 AI 的聊天机器人服务。
Chat with RTX 采用检索增强生成（Retrieval-Augmented Generation, RAG）、NVIDIA
TensorRT-LLM 软件与 NVIDIA RTX 加速的本地端生成 AI，玩家可依据本地的资料连结至
开源的大型语言模型库：Mistral、Llama 2，达到快速的查询并获得相关答案。
此外，Chat with RTX 工具支援著 .txt、.pdf、.doc、.docx 与 .xml 等文档格式，能
将这些本地资料加入数据库中，并且可加入 YouTube 影片、播放清单，让聊天机器人可
根据喜爱的影片清单提供相关的整理资讯。
Chat with RTX 基于 PC 或者工作站电脑提供本地快速的生成 AI 聊天互动功能，使用者
的资料只会储存在本地端的数据库中，只要使用 GeForce RTX 30、RTX 40 系列 GPU 并
有着 8GB VRAM 以上的规格，在 Windows 10、11 等作业系统都可运行。
Chat with RTX 工具基于 TensorRT-LLM RAG 开发人员参考专案所建立并于 GitHub 中开
源释出，开发者可依据此专案自行研发自有的 RAG 应用程式，并采用 RTX 加速的
TensorRT-LLM 语言模型。
Chat With RTX 下载：nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
安装完毕后 Chat with RTX 必须要指定文件、资料，才能依据这些资料透过 AI 模型生
成相关的对话，像是我指定有关于 RTX 40 Super 的资料后，就可以询问关于 NVIDIA、
RTX 40 等问题。
换句话说若个人或企业的资料够庞大时，可让 Chat with RTX 的 AI 模型有着更好的资
料比对产生出关连度更高的结果；有兴趣的玩家不妨下载安装并提供资料，如此一来个人
的本地端生成 AI 聊天机器人就开始上工囉。
心得/评论：
已经有很多部落客对此有评论了
1. 整个下载包预计35G 非常大 要先把硬盘空间清出来
只支援RTX30或40系列显卡 而且至少要8G VRAM
2. 及时运行速度很快 而且采用RAG可以很快校正答案
3. 跟GPT一样 有些答案根本是胡扯 所以使用者还是要自己小心
感觉NV想给PC产业做个示范
以前有搭载GTX1050以上的 才叫做 Gaming PC，
现在刀客直接示范什么叫做 AI PC
先让使用者有感觉
然后各大PC品牌就会自己放入符合规范的产品