Nvidia 携手 RTX 推出的本地运行 AI 聊天机器人

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

Nvidia 今天推出了 Chat with RTX 的早期版本，这是一个演示应用程序，允许你在个人电脑上运行一个私人 AI 聊天机器人。你可以向它提供 YouTube 视频和你自己的文档，以创建摘要和基于你自己的数据获取相关答案。这一切都在个人电脑上本地运行，你所需要的只是一块至少拥有 8GB VRAM 的 RTX 30 或 40 系列 GPU。

我在过去的一天里对 Chat with RTX 进行了简短的测试，尽管这个应用程序还有点粗糙，但我已经可以看到这将成为数据研究的有价值部分，特别是对于需要分析一系列文档的记者或任何人来说。

Chat with RTX 能够处理 YouTube 视频，所以你只需输入一个 URL，它就会让你搜索特定提及的字幕或总结整个视频。我发现这对于搜索视频播客非常理想，特别是在寻找过去一周关于微软新 Xbox 策略转变的传言中的特定提及时。

然而，搜索 YouTube 视频并不是完美的。我尝试搜索一段 The Verge YouTube 视频的字幕，但 Chat with RTX 下载了一个完全不同视频的字幕。这甚至不是我之前查询过的视频，所以在这个早期演示中显然存在漏洞。

Chat with RTX 在搜索你本地的文档方面表现出色。当它正常工作时，我能够在几秒内找到视频中的参考内容。我还为 Chat with RTX 创建了一个 FTC 诉微软文档的数据集进行分析。当我去年覆盖这个法庭案件时，快速搜索文档经常让人感到不堪重负，但 Chat with RTX 帮助我几乎立即在我的电脑上查询它们。

例如，聊天机器人很好地总结了在审判中揭示的微软整个 Xbox Game Pass 策略：

根据提供的上下文信息，Xbox Game Pass 是一项游戏内容订阅服务，它提供单一月费访问游戏库的权限。它被视为一个能让玩家在任何地方玩他们的游戏，并允许发布商在各处触达玩家的平台。该服务由 Project xCloud 和 Xbox Series X 支持，旨在为发布商创造一个利润丰厚的游戏环境。游戏 CSA 的主要战略目标是扩大 Xbox Game Pass 的规模，认为全球有着高达 7.5 亿的订阅者机会。该服务面临三个主要的内容动态，包括需要差异化的内容、扩展到控制台之外和有限的内容供应。

我还发现这对于扫描 PDF 和事实核查数据非常有用。微软自己的 Copilot 系统在 Word 中处理 PDF 并不好，但 Nvidia 的 Chat with RTX 没有问题地拉出所有关键信息。响应几乎是即时的，没有你通常在使用基于云的 ChatGPT 或 Copilot 聊天机器人时看到的延迟。

Chat with RTX 的一个大缺点是，它真的感觉像是一个早期的开发者演示。Chat with RTX 实质上在你的电脑上安装了一个网络服务器和 Python 实例，然后利用 Mistral 或 Llama 2 模型来查询你提供的数据。然后，它利用 Nvidia 的 Tensor 核心在 RTX GPU 上加速你的查询。

Chat with RTX 并不总是准确的。它在我的电脑上安装大约需要 30 分钟，我的电脑配备了一个 Intel Core i9-14900K 处理器和一个 RTX 4090 GPU。这个应用程序几乎有 40GB 大小，Python 实例占用了系统中可用的 64GB RAM 中的大约 3GB。一旦运行起来，你就可以通过浏览器访问 Chat with RTX，同时在后台运行的命令提示符会输出正在处理的内容和任何错误代码。

Nvidia 并不是将这个作为所有 RTX 拥有者都应该立即下载和安装的成熟应用程序来提供。存在许多已知的问题和限制，包括源归属并不总是准确。我最初尝试让 Chat with RTX 索引 25,000 个文档，但这似乎使应用程序崩溃了，我不得不清除首选项才能再次开始。

Chat with RTX 也不记得上下文，所以后续问题不能基于之前问题的上下文。它还在你要求它索引的文件夹内创建 JSON 文件，所以我不建议在你的整个 Windows 文档文件夹中使用这个。

我喜欢一个好的技术演示，Nvidia 在这里确实提供了这样的演示。它展示了未来在你的个人电脑上本地运行的 AI 聊天机器人的可能性，特别是如果你不想订阅像 Copilot Pro 或 ChatGPT Plus 这样的服务就能分析你的个人文件。