2 月 18 日，NVIDIA 推出了基于 GeForce 硬件原生应用的生成式 AI，也称为“Chat with RTX”，顾名思义，它是 NVIDIA 提供的具有 RTX 加速和其他技术的对话机器人。 该技术演示现已免费提供**，可供拥有 RTX 30 系列或更高版本 GPU（至少 8GB 显存）的用户在本地使用。
全球已有数千万人使用基于云的 AI 对话服务，RTX 聊天与现有此类应用程序之间有何区别？
Chat with RTX 通过检索增强生成 （RAG）、NVIDIA TensorRT-LLM（大型语言模型）软件和 NVIDIA RTX 加速，为原生 Windows PC 带来生成式 AI 功能。 用户可以快速轻松地将本地数据作为数据集连接到开源大型语言模型，例如 MISTRAL 或 LLAMA 2。
具体来说，Chat with RTX 可以承担搜索引擎的功能，类似于 Office 中 Copilot 的一部分，它可以直接从选定的文件和其他材料中查找内容，并为您总结答案。
Chat with RTX 支持多种文件格式，包括文本文件、PDF、DOC docx 和 XML。 用户只需在应用程序中指定包含目标文件的文件夹，应用程序就会在几秒钟内将目标文件加载到库中。 不仅如此，我们还可以提供 YouTube 等 *** 链接，然后应用程序会自动加载带有 ** 和 ** 列表的信息，让我们可以直接查询其中包含的内容。
与 AI 绘图应用程序 Stable Diffusion 类似，“Chat with RTX”可以帮助用户在 PC 桌面上处理敏感信息，而无需与第三方共享或连接到互联网。
据 NVIDIA 称，“Chat with RTX”技术演示基于 GitHub 上的 TensorRT-LLM RAG 开发者参考项目构建。 开发人员可以使用此参考项目开发和部署基于 RAG 并由 TensorRT-LLM 加速的面向 RTX 的应用程序。
小结。 随着最近 OpenAI SORA 模型和 Chat with RTX 等应用程序的诞生，我们对 AI 未来的想象也越来越丰富。
试想一下，也许我们可以利用本地AI助手来实现更高效的编辑功能，不仅限于总结大块信息，还可以“基于这个**数据，帮我生成一个漂亮的折线图”，或者“总结一下这个文字信息，帮我做一个10页的PPT”，或者“帮我把这部电影看完， 描述其情节结构，并生成一个拉表（记录每个镜头的故事板、摄像机运动、场景、音效等）文档“这样的深度用法。
目前本地运行的Chat with RTX只是一个demo版本状态，功能比较简单，支持的数据类型和**还不够，期待这个项目的不断演进。 如果能成为基于GeForce RTX硬件的“Copilot”原生版本，将为广大用户带来更多价值。