Một đại lý lập kế hoạch
gpt planner là một ứng dụng Python thể hiện khả năng lập kế hoạch của LLM. Khi bạn chạy nó, nó sẽ yêu cầu LLM tạo nhiều kế hoạch hành động cho một mục tiêu hoặc truy vấn. Sau đó, nó sẽ yêu cầu LLM so sánh và chọn kế hoạch tốt nhất, rồi viết lại để trả lời truy vấn của người dùng.
Vì chương trình sử dụng thư viện OpenAI Python chính thức, chúng ta có thể dễ dàng thay đổi nó để sử dụng nút Gaia.
Điều kiện tiên quyết
Bạn sẽ cần một nút Gaia sẵn sàng cung cấp dịch vụ LLM thông qua URL công khai. Bạn có thể
Trong hướng dẫn này, chúng ta sẽ sử dụng một public node.
| Thuộc tính | Giá trị |
|---|---|
| URL điểm cuối API | https://llama8b.gaia.domains/v1 |
| Tên Model | lạc đà không bướu |
Chạy tổng đài viên
Đầu tiên, tải nodebook trong colab.
Chỉnh sửa mã để tạo ứng dụng khách OpenAI. Chúng tôi sẽ vượt qua trong base_url Ở đây.
máy khách = openai.OpenAI(base_url="https://llama8b.gaia.domains/v1", api_key=OPENAI_API_KEY)
Tiếp theo, thay thế tất cả GPT-4O-Mini Tên model với lạc đà không bướu tên model trong mã.
Đây là một ví dụ.
response = client.chat.completions.create(
model="llama",
messages=[
{"role": "system", "content": "You are a helpful assistant. Use the given plan to create a detailed and high-quality response to the user's query."},
{"role": "user", "content": f"User Query: {user_query}\n\nPlan: {best_plan}\n\nGenerate a detailed response based on this plan."}
],
temperature=0.5,
max_tokens=2000
)
Thay đổi truy vấn thành truy vấn của riêng bạn.
user_query = "Làm cách nào để gỡ lỗi thời gian chờ kết nối TLS?"
Cuối cùng, chạy sổ ghi chép để xem kết quả!