此技术演示允许任何拥有 RTX GPU 的人享受功能强大、可自定义的 GPT 聊天机器人。
february 13, 2024 by jesse clayton
在云中基于 NVIDIA GPU 的服务器的支持下，全球每天都有数百万人使用聊天机器人。 现在，这些突破性工具将在搭载 NVIDIA RTX 的 Windows PC 上推出，以实现本地、快速、信息定制的生成式 AI。
Chat with RTX 技术演示现已免费推出**，允许用户在运行 NVIDIA GeForce RTX 30 系列或更高版本的 GPU（至少 8GB 显存）上本地构建自己的聊天机器人。
问我一切。 Chat with RTX 通过检索增强生成 （RAG）、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速，为 GeForce 驱动的原生 Windows PC 带来生成式 AI 功能。 用户可以快速轻松地将桌面上的数据作为数据集，并连接到开源大型语言模型（如 Mistral 或 Llama 2）以快速查询上下文相关内容。
用户只需输入查询即可，而无需搜索注释或保存的内容。 例如，用户可以问：我的合作伙伴推荐哪家拉斯维加斯餐厅？ “与 RTX 聊天”工具会扫描用户指向的桌面材料，并提供上下文答案。
与 RTX 聊天工具支持包括txt、.pdf、.doc/.docx 和XML 和其他文件格式。 将您的应用程序指向包含这些资料的文件夹，“与 RTX 聊天”工具将在几秒钟内将它们加载到您的库中。
用户还可以添加来自 YouTube 和列表的信息。 通过将 *** 添加到 RTX 聊天中，用户将能够将这些知识与聊天机器人集成，以进行上下文查询。 例如，根据您最喜欢的旅行KOL发布的最佳内容询问推荐的旅行内容，或从顶级教育资源中获取快速教程和操作技巧。
与 RTX 聊天会将 YouTube 视频内容的知识添加到查询结果中。 与 RTX 聊天可以在 Windows RTX PC 和工作站上本地运行，而且用户的数据保留在本地设备上，因此可以快速传递查询结果。 与依赖云的 LLM 服务不同，“Chat with RTX”允许用户在其 PC 桌面上处理敏感信息，而无需与第三方共享或连接到互联网。
除了 GeForce RTX 30 系列 GPU 或更高版本（至少 8GB 显存）之外，“与 RTX 聊天”还需要 Windows 10 或 11 以及最新的 NVIDIA GPU 驱动程序。
编者注：Chat with RTX 中目前存在一个问题，即当用户选择其他安装目录时，安装会失败。 我们将在将来的版本中修复此问题。 目前，用户应使用默认安装目录（C：UsersAppDataLocalNvidiaChatWithRTX）。
使用 RTXChat 和 RTX 开发基于 LLM 的应用程序显示了使用 RTX GPU 加速 LLM 的潜力。 该应用程序是使用 GitHub 上的 Tensorrt-llm RAG 开发人员参考项目构建的。 开发人员可以使用此参考项目为 RTX 开发和部署基于 RAG 的私有应用程序，并通过 TensorRT-LLM 加速。 详细了解如何构建基于 LLM 的应用程序。