NVIDIA 推出 Chat with RTX - 本機 AI 應用程式
NVIDIA 推出了 Chat with RTX 應用程式，讓使用者可以在自己的電腦上打造專屬的 AI 聊天機器人。這項新工具充分發揮了 NVIDIA RTX GPU 的強大性能，讓使用者能夠直接在本機與自己的資料進行互動和查詢，包括文件、筆記、影片等，無需依靠雲端服務。
Chat with RTX 的特色功能
Chat with RTX 的設計目的在於將 GPT 大型語言模型 (LLM) 與使用者的個人內容，如文件、筆記、影片等連結，實現個人化服務。它採用了檢索增強生成 (RAG)、TensorRT-LLM 和 RTX 加速技術，快速提供與相關的回答。該應用支援多種檔案格式，包括文件、PDF、DOC/DOCX 和 XML，甚至能夠載入 YouTube 播放清單的轉錄文件，以便查詢內容。
Chat with RTX 最引人注目的特點之一，是它能在 Windows RTX PC 或工作站上本機運行，確保了快速且安全的處理結果，而不必將個人資料上傳至雲端服務。這種本機處理的能力對於處理敏感資訊或重視隱私的使用者來說，非常重要。
使用 Chat with RTX 的系統要求
想要使用 Chat with RTX，使用者需要一台裝 NVIDIA GeForce™ RTX 30 or 40 Series GPU 或是 NVIDIA RTX™ Ampere or Ada Generation GPU 的 Windows PC 或工作站。該應用至少需要 8GB 的視訊隨機存取記憶體 (VRAM)，並支援多種檔案格式。它可安裝在 Windows 11 系統上，並且需要更新最新的 NVIDIA GPU 驅動程式。
潛在應用與優勢
Chat with RTX 為各行各業的專業人士、研究人員，以及任何需要個人化 AI 聊天機器人的使用者，開啟了廣大的應用前景。記者可以利用它來快速分析和總結大量的文件或數據。學生和研究人員也可以用它來高效率地查詢學術論文或筆記。此外，它還能從 YouTube 影片和播放清單中查詢內容，這為使用者提供了一種新的信息提取方式，無需手動逐一搜尋影片內容。
Chat with RTX 的本機處理功能不僅保障了使用者的隱私和安全，還能提供即時的回應速度，這是基於雲端的 LLM 服務所無法比擬的。對於需要迅速存取個人資料中信息的使用者來說，Chat with RTX 是一個極具吸引力的選擇。
寫在後面
NVIDIA 的 Chat with RTX 在個人 AI 的領域中，象徵著一個重要的技術進步。透過利用 RTX GPU 的強大性能，並在使用者的設備上本機運行，它為使用者提供了一種安全、快速且高度個人化的方式，來與個人資料進行互動和查詢。隨著 AI 技術的持續發展，像 Chat with RTX 這樣的工具無疑將在我們如何互動和利用數據方面，扮演著越來越關鍵的角色。雖然目前還是 Demo 版本，不過這項技術將會逐漸成熟，在未來 AI PC 及 AI Notebook 中扮演重要的角色。
留言
張貼留言