Mở WebUI
Bạn có thể cấu hình Open WebUI framework, một WebUI tự lưu trữ, sử dụng bất kỳ nút Gaia nào làm API LLM phụ trợ. Điều đó cho phép bạn sử dụng các nút Gaia của riêng bạn hoặc cộng đồng trong bất kỳ ứng dụng nào được xây dựng trên Open WebUI.
Điều kiện tiên quyết
Bạn sẽ cần một nút Gaia sẵn sàng cung cấp dịch vụ LLM thông qua URL công khai. Bạn có thể
Trong hướng dẫn này, chúng tôi sẽ sử dụng các nút công khai để cung cấp năng lượng cho plugin Tiếp tục.
| Loại mô hình | URL cơ sở API | Tên model |
|---|---|---|
| Tán gẫu | https://llama8b.gaia.domains/v1 | lạc đà không bướu |
| Nhúng | https://llama8b.gaia.domains/v1 | Danh pháp |
Khởi động Open WebUI trên máy của bạn
Sau khi khởi động thành công nút Gaia, bạn có thể sử dụng Chạy Docker để khởi động Open WebUI.
docker chạy -d -p 3000:8080 \
-v open-webui:/app/backend/data \
-e OPENAI_API_BASE_URL="https://llama8b.gaia.domains/v1" \
-e OPENAI_API_KEYS="gaianet" \
--tên mở webui \
--khởi động lại luôn \
ghcr.io/open-webui/open-webui:main
Sau đó, mở http://localhost:3000 trong trình duyệt của bạn và bạn sẽ thấy trang Open WebUI.
Bạn cũng có thể định cấu hình nút của riêng mình khi webUI được khởi động.
- Nhấp vào hồ sơ của bạn ở góc trên cùng bên phải và chọn Cài đặt.
- Sau đó chọn Kết nối. Trong trường API OpenAI, nhập URL cơ sở nút của bạn và nhập một số ký tự ngẫu nhiên.
- Nhấp vào Tiết kiệm để thực hiện thay đổi có hiệu lực.
Sử dụng Open WebUI làm giao diện người dùng Chatbot
Chỉ cần chọn mô hình trò chuyện trong mục Chọn mô hình , sau đó bạn có thể gửi tin nhắn đến nút Gaia.
Sử dụng Open WebUI làm công cụ RAG phía máy khách
Open WebUI cũng cung cấp một cách để triển khai ứng dụng RAG. Vì các nút Gaia có API nhúng tương thích với OpenAI, bạn cũng có thể sử dụng tính năng này. Tuy nhiên, để sử dụng tính năng này, bạn nên bắt đầu một nút không có bất kỳ ảnh chụp nhanh nào, như nút này .
Bước 1: Sử dụng nút Gaia làm API nhúng
- Nhấp vào Không gian làm việc ở góc trên bên trái và chọn tab Tài liệu . Đây là nơi bạn quản lý các tài liệu đã tải lên.
- Nhấp vào Cài đặt tài liệu để định cấu hình cài đặt nhúng.
- Trong Cài đặt chung, chọn OpenAI làm Công cụ mô hình nhúng. Nhập URL cơ sở API nút và một số ký tự ngẫu nhiên. Sau đó, nhập tên mô hình nhúng vào trường Mô hình nhúng. Nhấp vào Lưu để áp dụng các thay đổi.
Bước 2: Sử dụng nút Gaia làm API nhúng
Nhấp vào + để tải lên tài liệu của bạn.
Bước 3: Tán gẫu
Sau đó quay lại trang trò chuyện. Trước khi bạn gửi thư, hãy nhập # để chọn tài liệu bạn muốn làm ngữ cảnh.
Đó là nó.