跳到主要內容

發表文章

目前顯示的是有「RTX GPU」標籤的文章

NVIDIA Chat with RTX:在本機打造個人化 AI

NVIDIA 推出 Chat with RTX - 本機 AI 應用程式 NVIDIA 推出了 Chat with RTX 應用程式,讓使用者可以在自己的電腦上打造專屬的 AI 聊天機器人。這項新工具充分發揮了 NVIDIA RTX GPU 的強大性能,讓使用者能夠直接在本機與自己的資料進行互動和查詢,包括文件、筆記、影片等,無需依靠雲端服務。 Chat with RTX 的特色功能 Chat with RTX 的設計目的在於將 GPT 大型語言模型 (LLM) 與使用者的個人內容,如文件、筆記、影片等連結,實現個人化服務。它採用了檢索增強生成 (RAG)、TensorRT-LLM 和 RTX 加速技術,快速提供與相關的回答。該應用支援多種檔案格式,包括文件、PDF、DOC/DOCX 和 XML,甚至能夠載入 YouTube 播放清單的轉錄文件,以便查詢內容。 Chat with RTX 最引人注目的特點之一,是它能在 Windows RTX PC 或工作站上本機運行,確保了快速且安全的處理結果,而不必將個人資料上傳至雲端服務。這種本機處理的能力對於處理敏感資訊或重視隱私的使用者來說,非常重要。 使用 Chat with RTX 的系統要求 想要使用 Chat with RTX,使用者需要一台裝 NVIDIA GeForce™ RTX 30 or 40 Series GPU 或是 NVIDIA RTX™ Ampere or Ada Generation GPU 的 Windows PC 或工作站。該應用至少需要 8GB 的視訊隨機存取記憶體 (VRAM),並支援多種檔案格式。它可安裝在 Windows 11 系統上,並且需要更新最新的 NVIDIA GPU 驅動程式。 潛在應用與優勢 Chat with RTX 為各行各業的專業人士、研究人員,以及任何需要個人化 AI 聊天機器人的使用者,開啟了廣大的應用前景。記者可以利用它來快速分析和總結大量的文件或數據。學生和研究人員也可以用它來高效率地查詢學術論文或筆記。此外,它還能從 YouTube 影片和播放清單中查詢內容,這為使用者提供了一種新的信息提取方式,無需手動逐一搜尋影片內容。 Chat with RTX 的本機處理功能不僅保障了使用者的隱私和安全,還能提供即時的回應速度,這是基於雲端的 LLM 服務所無法比擬的...