NVIDIA ra mắt “ChatGPT” nhưng không cần kết nối Internet, chạy trực tiếp trên GPU RTX
NVIDIA vừa giới thiệu “Chat with RTX” – một chatbot AI mới hoạt động offline trên PC Windows với GPU NVIDIA RTX 30 hoặc 40 series. Đặc điểm nổi bật của công cụ này là cho phép người dùng cá nhân hóa chatbot với nội dung theo ý muốn và lưu trữ dữ liệu nhạy cảm trên thiết bị để tránh rủi ro từ việc sử dụng dịch vụ đám mây.
“Chat with RTX” hoạt động như một hệ thống cục bộ không cần truy cập Internet và có thể chạy trên tất cả các GPU GeForce RTX 30 và 40 có bộ nhớ video ít nhất là 8GB. Ứng dụng này hỗ trợ nhiều định dạng tệp, bao gồm văn bản, pdf, doc/docx và XML. Người dùng chỉ cần chỉ định thư mục chứa các tệp tin để chúng được tải lên thư viện trong vài giây. Ngoài ra, người dùng cũng có thể cung cấp URL của danh sách phát YouTube và ứng dụng sẽ tải xuống bản ghi nội dung, cho phép người dùng truy vấn nội dung trong danh sách đó.
Dựa trên mô tả chính thức, người dùng có thể sử dụng Chat with RTX tương tự như ChatGPT bằng cách truy vấn với các yêu cầu khác nhau. Tuy nhiên, kết quả được tạo ra hoàn toàn dựa trên tập dữ liệu cụ thể, đặc biệt phù hợp cho các tác vụ như tạo tóm tắt và tìm kiếm nhanh trong tài liệu.
Sử dụng GPU RTX với hỗ trợ TensorRT-LLM, người dùng có thể làm việc với tất cả dữ liệu và dự án cục bộ mà không cần lưu trữ dữ liệu trên đám mây. Điều này giúp tiết kiệm thời gian và mang lại kết quả chính xác hơn. NVIDIA cũng cho biết rằng trong phiên bản TensorRT-LLM v0.6.0 sắp ra mắt, hiệu suất sẽ được cải thiện gấp 5 lần và phiên bản này cũng hỗ trợ các LLM khác như Mistral 7B và Nemotron 3 8B.
Chat with RTX có các tính năng chính sau:
1. Xử lý cục bộ: Chạy trực tiếp trên PC Windows RTX và máy trạm, mang lại phản hồi nhanh chóng và bảo mật dữ liệu người dùng.
2. Cá nhân hóa: Người dùng có thể tùy chỉnh chatbot với nội dung của riêng mình, bao gồm các định dạng tệp văn bản, PDF, DOC/DOCX, XML và video YouTube.
3. Tạo văn bản tăng cường truy vấn (Retrieval-Augmented Generation): Chatbot sử dụng RAG, phần mềm NVIDIA TensorRT-LLM và tăng tốc NVIDIA RTX để sáng tạo nội dung và cung cấp câu trả lời phù hợp theo ngữ cảnh.
4. Ngôn ngữ mô hình lớn mã nguồn mở (LLM): Người dùng có thể chọn hai LLM mã nguồn mở, Mistral hoặc Llama 2, để huấn luyện chatbot theo ý muốn.
5. Thân thiện với nhà phát triển: Chat with RTX được xây dựng từ dự án tham khảo nhà phát triển TensorRT-LLM RAG, có sẵn trên GitHub, cho phép các nhà phát triển mở rộng và xây dựng ứng dụng dựa trên RAG của riêng họ.
Tuy nhiên, để sử dụng Chat with RTX, người dùng cần có NVIDIA GeForce RTX Series 30 GPU trở lên với ít nhất 8GB VRAM, hệ điều hành Windows 10 hoặc 11 và trình điều khiển GPU NVIDIA mới nhất. Hiện tại, ứng dụng vẫn đang trong giai đoạn demo dành cho nhà phát triển, vì vậy khả năng nhớ ngữ cảnh và xác định nguồn cung cấp thông tin vẫn còn giới hạn. Người dùng có thể tải ứng dụng Chat with RTX tại đây.
Hãy theo dõi và xem thêm các bài viết khác tại chuyên mục tin tổng hợp của gianghosinhtulenh nhé
Nguồn: https://genk.vn/nvidia-ra-mat-chatgpt-nhung-khong-can-ket-noi-internet-chay-truc-tiep-tren-gpu-rtx-2024021514192383.chn
