Cuộc gọi công cụ FlowiseAI
FlowiseAI là một công cụ mã nguồn ngắn dành cho các nhà phát triển để xây dựng các luồng điều phối LLM tùy chỉnh & các tác nhân AI. Bạn có thể định cấu hình công cụ FlowiseAI để sử dụng nút Gaia hỗ trợ gọi công cụ LLM.
Điều kiện tiên quyết
Bạn sẽ cần một nút Gaia sẵn sàng cung cấp dịch vụ LLM thông qua URL công khai. Trong hướng dẫn này, bạn sẽ cần thiết lập một nút công khai với hỗ trợ cuộc gọi công cụ.
Khởi động máy chủ FlowiseAI
Làm theo hướng dẫn FlowiseAI để cài đặt Flowise cục bộ
npm cài đặt -g flowise
NPX Flowise Bắt đầu
Sau khi chạy thành công, bạn có thể mở http://localhost:3000
để kiểm tra công cụ Flowise AI.
Xây dựng chatbot tra cứu IP theo thời gian thực
Bước 1: Tạo Chatflow mới từ giao diện người dùng.
Bước 2: Trên canvas Chatflow, thêm một nút có tên ChatLocalAI.
Bước 3: Định cấu hình tiện ích ChatLocalAI để sử dụng nút Gaia với công cụ hỗ trợ cuộc gọi bạn đã tạo.
- Đường dẫn cơ sở:
https://YOUR-NODE-ID.us.gaianet.network/v1
- Tên mô hình: ví dụ:
Mistral-7B-Hướng dẫn-v0.3.Q5_K_M
Bước 4: Thêm một nút có tên là Công cụ tùy chỉnh
Tạo một hàm có tên get_ip_address_geo_location
.
Hàm yêu cầu một xâu
tham số được gọi là Ip
.
Trường Mô tả công cụ là "dấu nhắc" cho LLM biết khi nào nên sử dụng chức năng này. Trong ví dụ này, nếu LLM phát hiện ra rằng người dùng đang hỏi về thành phố hoặc quốc gia của địa chỉ IP, nó sẽ trả về phản hồi cuộc gọi công cụ yêu cầu FlowiseAI thực hiện lệnh gọi hàm này trước.
Bây giờ bạn có thể thêm mã JavaScript cho hàm này. Nó tra cứu vị trí của đầu vào Ip
thông số.
const fetch = require("node-fetch")
const url = "http://ipwho.is/"+$ip
try {
const response = await fetch(url)
const result = await response.text()
console.log(result)
return result
} catch(error) {
console.error(error)
}
Bước 5: Thêm một nút có tên Buffer Memory vào canvas.
Bước 6: Thêm một nút có tên Tool Agent.
Bước 7: Kết nối các nút.
Kết nối các nút Custom Tool và Buffer Memory với các trình kết nối thích hợp trên Nút Tool Agent . Kết nối nút ChatLocalAI với Công cụ tùy chỉnh.
Bước 8: Lưu Chatflow.
Hãy thử
Từ giao diện người dùng FlowiseAI, bạn có thể mở cửa sổ trò chuyện để trò chuyện với ChatLocalAI mà bạn vừa tạo. Hãy Đặt câu hỏi:
Vị trí của địa chỉ này là gì 35.222.115.181
LLM hiểu rằng yêu cầu là tìm vị trí cho địa chỉ IP và thấy rằng chúng ta có một chức năng
Gọi get_ip_address_geo_location
trong các công cụ, có mô tả phù hợp với tác vụ này.
Vì vậy, nó phản hồi bằng một thông báo JSON để gọi hàm này với
địa chỉ IP mà nó trích xuất từ truy vấn của người dùng.
Công cụ này gọi tin nhắn JSON KHÔNG được hiển thị cho người dùng trong chatbot. Thay vào đó, FlowiseAI Nút Công cụ tùy chỉnh nắm bắt nó và thực thi mã JavaScript được liên kết với lệnh gọi công cụ này. Kết quả của cuộc gọi công cụ sau đó được gửi trở lại LLM cùng với truy vấn ban đầu, đó là lý do tại sao chúng ta cần nút Bộ nhớ đệm BTW, và LLM xây dựng một câu trả lời có thể đọc được của con người cho câu hỏi ban đầu.