Bất cứ điều gì LLM

Anything LLM là ứng dụng AI Desktop & Docker tất cả trong một với đầy đủ khả năng của RAG và AI Agent. Bạn có thể cấu hình Anything LLM bằng cách sử dụng nút Gaia làm backend LLM.

Bạn nên bắt đầu một nút mà không có bất kỳ ảnh chụp nhanh nào, như nút này.

Bước

Đầu tiên, chúng ta cần thêm Gaia Node làm mô hình trò chuyện LLM và mô hình nhúng.

• Đi tới Cài đặt
• Chọn Local AI làm nhà cung cấp LLM trong phần suy luận LLM. Sau đó sao chép và dán URL cơ sở API của nút Gaia vào URL cơ sở LocalAI. Mô hình trò chuyện và mô hình nhúng cùng với nút của bạn sẽ được tải tự động. Chọn mô hình trò chuyện tại đây và nhập độ dài ngữ cảnh. Nhớ nhấp vào Lưu thay đổi để các thay đổi có hiệu lực.

• Sau đó, hãy vào phần Tùy chọn nhúng và chọn LocalAI làm nhà cung cấp nhúng. Sau đó, sao chép và dán URL cơ sở API của nút Gaia vào URL cơ sở LocalAI. Mô hình trò chuyện và mô hình nhúng cùng với nút của bạn sẽ được tải tự động. Chọn mô hình nhúng tại đây và nhập độ dài khối nhúng tối đa. Đừng quên nhấp vào Lưu thay đổi để các thay đổi có hiệu lực.

Các hoạt động trên biến nút Gaia thành phần phụ trợ của LLM.

Thứ hai, hãy thiết lập nguồn dữ liệu. Bạn có thể tải lên tệp hoặc sử dụng trình kết nối dữ liệu do Anything LLM cung cấp.

Khi bạn di chuyển nguồn dữ liệu đến không gian làm việc, Anything LLM sẽ gọi API nhúng của nút Gaia để phân đoạn và tính toán nhúng cho tài liệu của bạn, việc này có thể mất vài phút.

Đó là nó. Khi quá trình nhúng hoàn tất, hãy quay lại không gian làm việc của bạn và đặt câu hỏi.

Bạn có thể kiểm tra start-llamaedge.log để kiểm tra xem điều gì sẽ xảy ra.