Bất cứ điều gì LLM

Anything LLM là ứng dụng Desktop & Docker AI tất cả trong một với đầy đủ khả năng RAG và AI Agent. Bạn có thể định cấu hình Anything LLM bằng cách sử dụng nút GaiaNet làm phụ trợ LLM.

Bạn nên bắt đầu một nút mà không có bất kỳ ảnh chụp nhanh nào, như nút này.

Bước

Đầu tiên, chúng ta sẽ cần thêm GaiaNet Node làm mô hình trò chuyện LLM và mô hình nhúng.

• Đi tới Cài đặt
• Chọn Local AI làm nhà cung cấp LLM trong phần suy luận LLM. Sau đó sao chép và dán URL cơ sở API nút GaiaNet vào URL cơ sở LocalAI. Mô hình trò chuyện và mô hình nhúng cùng với nút của bạn sẽ được tải tự động. Chọn mô hình trò chuyện tại đây và nhập độ dài ngữ cảnh. Hãy nhớ nhấp vào Lưu thay đổi để thực hiện các thay đổi.

• Sau đó chuyển đến phần Tùy chọn nhúng và chọn LocalAI làm nhà cung cấp nhúng. Sau đó sao chép và dán URL cơ sở API nút GaiaNet vào URL cơ sở LocalAI. Mô hình trò chuyện và mô hình nhúng cùng với nút của bạn sẽ được tải tự động. Chọn mô hình nhúng ở đây và nhập độ dài đoạn nhúng tối đa. Đừng quên nhấp vào Lưu thay đổi để thực hiện các thay đổi.

Các hoạt động trên làm cho nút GaiaNet làm phụ trợ LLM.

Thứ hai, hãy thiết lập nguồn dữ liệu. Bạn có thể tải lên tệp hoặc sử dụng trình kết nối dữ liệu do Anything LLM cung cấp.

Khi bạn di chuyển nguồn dữ liệu vào không gian làm việc, Anything LLM sẽ gọi API nhúng của nút GaiaNet để phân đoạn và tính toán nhúng cho tài liệu của bạn, quá trình này có thể mất vài phút.

Đó là nó. Khi quá trình nhúng hoàn tất, hãy quay lại không gian làm việc của bạn và đặt câu hỏi.

Bạn có thể kiểm tra start-llamaedge.log để kiểm tra xem điều gì sẽ xảy ra.