Bỏ qua để đến nội dung

Cloudflare Tunnel

Cấp cho engine cục bộ của bạn một URL HTTPS công khai để lưu trong TomoriBot. Chạy engine cùng cloudflared trên máy tính của bạn; bot được lưu trữ riêng sẽ kết nối trực tiếp thông qua tunnel.

Cloudflare Tunnel có sẵn trên gói Miễn phí. Bạn cần một tên miền đang hoạt động trên Cloudflare; việc đăng ký tên miền và dịch vụ thượng nguồn của engine có thể phát sinh chi phí riêng.

Khởi động engine theo hướng dẫn thiết lập của nó và giữ nó liên kết với 127.0.0.1. Cài đặt cloudflared trên chính máy tính đó:

Terminal window
winget show --id Cloudflare.cloudflared --exact
winget install --id Cloudflare.cloudflared --exact
cloudflared --version

Chọn một hostname dưới tên miền Cloudflare của bạn, chẳng hạn engine.example.com. Hãy thay thế nó bằng hostname của chính bạn xuyên suốt hướng dẫn này.

Terminal window
cloudflared tunnel login
cloudflared tunnel create home-engine

Lệnh đầu tiên mở trình duyệt để ủy quyền tên miền của bạn. Lệnh thứ hai in ra UUID của tunnel và tạo tệp JSON chứng chỉ của nó. Hãy giữ bí mật tệp đó cùng chứng chỉ tài khoản.

Tạo tệp config.yml trong thư mục .cloudflared của bạn:

Hệ điều hànhThư mụcVí dụ tệp chứng chỉ
Windows%USERPROFILE%\.cloudflaredC:\Users\LOCAL_ACCOUNT\.cloudflared\TUNNEL_UUID.json
Linux~/.cloudflared/home/LOCAL_ACCOUNT/.cloudflared/TUNNEL_UUID.json
macOS~/.cloudflared/Users/LOCAL_ACCOUNT/.cloudflared/TUNNEL_UUID.json

Dán ví dụ này cho CLIProxyAPI. Thay thế UUID, đường dẫn JSON tuyệt đối và hostname. Giữ dấu nháy đơn bao quanh đường dẫn chứng chỉ để dấu gạch chéo ngược của Windows được giữ nguyên nghĩa đen.

config.yml
tunnel: TUNNEL_UUID
credentials-file: 'ABSOLUTE_PATH_TO_TUNNEL_JSON'
ingress:
- hostname: engine.example.com
path: ^/v1/(models|chat/completions)$
service: http://127.0.0.1:8317
- service: http_status:404

Đối với engine khác, chỉ thay path và service theo tab tương ứng. Quy tắc đường dẫn chỉ mở các route API của TomoriBot; các đường dẫn không khớp sẽ trả về 404.

path: ^/v1/(models|chat/completions)$
service: http://127.0.0.1:8317

Sử dụng đúng cổng thực tế của bạn: CLIProxyAPI mặc định là 8317, ChatMock là 8000 và KoboldCPP là 5001. Cấu hình này cũng hỗ trợ các engine văn bản tương thích OpenAI khác. Nó loại trừ các API quản lý và thao tác gỡ mô hình.

Để mở nhiều engine cùng lúc, hãy thêm một quy tắc hostname cho mỗi engine trước quy tắc 404 cuối cùng. Cấp cho mỗi engine hostname và cổng loopback riêng. Một tunnel có thể phục vụ tất cả chúng.

Mở terminal trong thư mục chứa config.yml và kiểm tra tính hợp lệ của tệp:

Terminal window
cloudflared tunnel --config ./config.yml ingress validate

Sau đó xuất bản DNS và chạy tunnel:

Terminal window
cloudflared tunnel route dns home-engine engine.example.com
cloudflared tunnel --config ./config.yml run home-engine

Nếu có nhiều hostname, hãy chạy route dns một lần cho mỗi hostname. Giữ engine và trình kết nối luôn chạy; bạn không cần mở port trên router hay thêm ngoại lệ tường lửa cho kết nối đến. Sau khi kiểm thử xong, hãy làm theo hướng dẫn chạy như dịch vụ của Cloudflare để tự động khởi động, kèm đường dẫn cấu hình và chứng chỉ tường minh cho tài khoản dịch vụ.

Mở /providers để chia sẻ kết nối trong máy chủ đó, hoặc /personal providers để dùng kết nối của riêng bạn:

EngineĐộ tương thích APIURL endpoint
CLIProxyAPI, ChatMock, KoboldCPP, các engine văn bản khácTương thích OpenAIhttps://engine.example.com/v1
ComfyUIComfyUIhttps://engine.example.com
Các wrapper TTS cục bộtts-clonehttps://engine.example.com

Dùng client key của engine làm token xác thực nếu engine yêu cầu khóa; ngược lại hãy để trống trường đó. CLIProxyAPI dùng khóa nằm dưới access.api-keys. API văn bản của KoboldCPP dùng mật khẩu đã cấu hình của nó. Một token tùy ý chỉ nhập trong TomoriBot sẽ không bật tính năng xác thực trên engine.

Thêm một model dưới kết nối đã lưu, chọn nó cho tính năng tương ứng và thử một yêu cầu nhỏ. Với ComfyUI, hãy kiểm tra thêm việc tải ảnh tham chiếu, tải kết quả và hủy tác vụ. Với TTS, hãy xác nhận âm thanh phát được. Luôn tắt các tính năng quản lý trên engine.

Nếu engine có bật xác thực, hãy xác nhận các yêu cầu tới route được bảo vệ sẽ từ chối khi thiếu hoặc sai khóa. Nếu engine không có xác thực, hãy đọc phần rủi ro còn lại ở mục Rủi ro đã biết bên dưới. Access và Caddy là lớp bảo vệ bổ sung tùy chọn.

Hiện tượngMục cần kiểm tra
502Engine có đang chạy không, đúng cổng loopback chưa, trình kết nối có nằm trên cùng PC không
1033 hoặc tunnel mất kết nốiTiến trình trình kết nối, cổng đi 7844, kết nối mạng và chế độ ngủ của máy tính
401Client key hoặc mật khẩu của engine khớp với token xác thực trong TomoriBot chưa
403 hoặc trang đăng nhập HTMLMột ứng dụng Access đang tồn tại có thể chặn các lời gọi API trực tiếp; xem thiết lập Access và Caddy tùy chọn nếu bạn đang dùng
404Đúng cấu hình engine và URL chưa; dùng chính xác một /v1 cho văn bản
Ngắt luồng hoặc 524Tình trạng engine/thượng nguồn, chế độ ngủ của máy tính và giới hạn kết nối Cloudflare
Tải lên tệp lớn thất bạiGiới hạn tải lên của Cloudflare cùng giới hạn của bot và engine; mã hóa base64 làm tăng kích thước dữ liệu

Hãy trả về tệp media đã tạo dưới dạng byte thông qua API. Bot được lưu trữ riêng không thể đọc đường dẫn tệp cục bộ hay URL tải xuống loopback trên máy của bạn. Endpoint production bắt buộc dùng HTTPS công khai và bản ghi DNS phân giải ra địa chỉ công khai; luôn giữ bật xác minh TLS và kiểm tra SSRF.

TomoriBot đã giảm thiểu sẵn các rủi ro sau khi bạn dùng bảng nhà cung cấp của bot:

Rủi roBiện pháp giảm thiểu sẵn có
Thành viên thông thường đọc được endpoint đã lưu trong bảngCác bảng đều ở dạng tạm thời (ephemeral). Cài đặt nhà cung cấp của máy chủ yêu cầu quyền Quản lý máy chủ; cài đặt cá nhân chỉ tải cấu hình của chính người gọi lệnh.
Lỗi từ nhà cung cấp làm lộ URL hoặc khóa trong chatLỗi công khai dùng mô tả đã bản địa hóa. Chi tiết lỗi văn bản thô chỉ mở cho người quản lý máy chủ đối với thông tin xác thực máy chủ, hoặc chủ sở hữu đối với thông tin xác thực cá nhân. Lỗi công cụ media trả về thông báo đã được phân loại.
Liên kết kết quả ComfyUI làm lộ URL của engineTomoriBot tự tải xuống kết quả rồi mới tải lên Discord.
Mở port khiến PC bị phơi bày trực tiếpEngine luôn nằm trên loopback và cloudflared kết nối ra ngoài; không cần mở port đến công khai cho engine.