Chuyển đến nội dung chính
Phiên bản: 2.0.0

Bắt đầu một node với Docker

Bạn có thể chạy tất cả các lệnh trong tài liệu này mà không cần bất kỳ thay đổi nào trên bất kỳ máy nào có Docker mới nhất và ít nhất 8GB RAM có sẵn cho vùng chứa. Theo mặc định, container sử dụng CPU để thực hiện tính toán, điều này có thể chậm đối với các LLM lớn. Đối với GPU,

  • Mac: Mọi thứ ở đây đều hoạt động trên Docker Desktop dành cho Mac. Tuy nhiên, lõi GPU của Apple sẽ không có sẵn bên trong các container Docker cho đến khi WebGPU được Docker hỗ trợ vào cuối năm 2024.
  • Windows và Linux với GPU Nvidia: Bạn sẽ cần cài đặt Bộ công cụ vùng chứa NVIDIA cho Docker. Trong hướng dẫn bên dưới, thay thế Đặt gắn thẻ với cuda12 hoặc cuda11 để sử dụng, hãy tận dụng GPU và thêm --nvidia.com/gpu=all thiết bị cờ. Nếu bạn cần tự xây dựng hình ảnh, hãy thay thế Dockerfile với Dockerfile.cuda12 hoặc Dockerfile.cuda11.

Tìm hình ảnh Gaia Docker mà bạn có thể chạy!

Bắt đầu nhanh​

Khởi động một container Docker cho nút Gaia. Nó sẽ in nhật ký đang chạy từ nút Gaia trong thiết bị đầu cuối này.

Docker Run --Name Gaianet \
  -trang 8080:8080 \
  -v $(pwd)/qdrant_storage:/root/gaianet/qdrant/storage:z \
  gaianet/phi-3-mini-instruct-4k_paris:mới nhất

Nút đã sẵn sàng khi nó hiển thị Nút Gaia được bắt đầu tại: https://... trên bảng điều khiển. Bạn có thể truy cập URL đó từ trình duyệt của mình để tương tác với nút Gaia.

Hình ảnh docker chứa LLM và các mô hình nhúng theo yêu cầu của nút. Tuy nhiên, vectơ Ảnh chụp nhanh bộ sưu tập (tức là cơ sở kiến thức) được tải xuống và nhập tại thời điểm nút khởi động. Đó là bởi vì kiến thức dựa trên có thể được cập nhật thường xuyên. Các qdrant_storage Thư mục trên máy host lưu trữ nội dung cơ sở dữ liệu vector.

Ngoài ra, lệnh để chạy Gaia trên máy Nvidia CUDA 12 của bạn như sau.

Docker Run --Name Gaianet \
  -p 8080:8080 --nvidia.com/gpu=all thiết bị \
  -v $(pwd)/qdrant_storage:/root/gaianet/qdrant/storage:z \
  gaianet / phi-3-mini-hướng dẫn-4k_paris:cuda12

Dừng và khởi động lại​

Bạn có thể dừng và khởi động lại nút như sau. Mỗi khi bạn khởi động lại, nó sẽ khởi động lại vectơ bộ sưu tập (cơ sở kiến thức).

Docker Stop Gaianet
docker start gaianet

LƯU Ý: Khi bạn khởi động lại nút, thông báo nhật ký sẽ không còn được in ra bàn điều khiển. Bạn sẽ cần đợi vài phút trước khi nút khởi động lại trực tuyến trở lại. Bạn vẫn có thể thấy các bản ghi bằng cách đăng nhập vào container như sau.

docker exec -it gaianet / bin / bash
đuôi -f / root / gaianet / log / start-llamaedge.log

Bạn cũng có thể xóa nút nếu bạn không còn cần nó nữa.

Docker Stop Gaianet
Docker RM Gaianet

Thực hiện thay đổi đối với nút​

Bạn có thể cập nhật các tham số cấu hình của nút, chẳng hạn như kích thước ngữ cảnh cho các mô hình, bằng cách Thực hiện Cấu hình lệnh trên Gaianet chương trình bên trong container. Ví dụ: lệnh sau thay đổi kích thước ngữ cảnh của LLM trò chuyện thành 8192 mã thông báo.

docker exec -it gaianet /root/gaianet/bin/gaianet config --chat-ctx-size 8192

Sau đó, khởi động lại nút để cấu hình mới có hiệu lực. Bạn sẽ cần đợi vài phút để máy chủ khởi động lại hoặc bạn có thể theo dõi Các tệp nhật ký bên trong container như đã thảo luận ở trên.

Docker Stop Gaianet
docker start gaianet

Thay đổi ID nút​

Bạn có thể cập nhật ID nút (địa chỉ Ethereum) được liên kết với nút. Khởi động nút và sao chép nodeid.json tệp, cũng như tệp kho khóa được xác định trong nodeid.json vào thùng chứa.

Docker CP /local/path/to/nodeid.json gaianet:/root/gaianet/nodeid.json
docker cp /local/path/to/1234-abcd-key-store gaianet:/root/gaianet/1234-abcd-key-store

Khởi động lại nút để địa chỉ và kho khóa mới có hiệu lực.

Docker Stop Gaianet
docker start gaianet

Xây dựng hình ảnh nút cục bộ​

Mỗi Gaia được xác định bởi một config.json tệp. Nó xác định yêu cầu của nút LLM và nhúng mô hình, tham số mô hình, lời nhắc và ảnh chụp nhanh vectơ (ví dụ: cơ sở kiến thức). Lệnh sau xây dựng hình ảnh Docker với hai nền tảng: cho một nút dựa trên chỉ định config.json tệp.

docker buildx build. --Nền tảng Linux / ARM64, Linux / AMD64 \
  --tag gaianet/phi-3-mini-instruct-4k_paris:latest -f Dockerfile \
  --build-arg CONFIG_URL=https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/config.json

Các Dockerfile có sẵn Ở đây. Hãy thay đổi nó thành Nvidia Phiên bản CUDA nếu Docker của bạn được bật với Bộ công cụ vùng chứa Nvidia.

Bạn có thể xuất bản nút của mình để người khác sử dụng nó.

Docker đẩy gaianet / phi-3-mini-hướng dẫn-4k_paris: mới nhất