跳到內容

Cloudflare Tunnel

為你的本機引擎提供公開HTTPS網址,以便儲存在TomoriBot中。在你的電腦上執行引擎與cloudflared;託管的bot會直接透過通道連線。

Cloudflare Tunnel可在免費方案使用。你需要一個已在Cloudflare上啟用的網域;網域註冊與你引擎的上游服務可能會另有費用。

依照你的引擎設定指南啟動它,並讓它維持繫結於127.0.0.1。在同一台電腦上安裝cloudflared:

Terminal window
winget show --id Cloudflare.cloudflared --exact
winget install --id Cloudflare.cloudflared --exact
cloudflared --version

在你的Cloudflare網域下選擇一個主機名稱,例如engine.example.com。整篇指南中請將它替換為你自己的主機名稱。

Terminal window
cloudflared tunnel login
cloudflared tunnel create home-engine

第一個指令會開啟瀏覽器以授權你的網域。第二個指令會印出通道UUID並建立其憑證JSON檔案。請將該檔案與帳號憑證保持私密。

在你的.cloudflared資料夾中建立config.yml:

作業系統資料夾憑證檔案範例
Windows%USERPROFILE%\.cloudflaredC:\Users\LOCAL_ACCOUNT\.cloudflared\TUNNEL_UUID.json
Linux~/.cloudflared/home/LOCAL_ACCOUNT/.cloudflared/TUNNEL_UUID.json
macOS~/.cloudflared/Users/LOCAL_ACCOUNT/.cloudared/TUNNEL_UUID.json

貼上這份CLIProxyAPI範例。替換UUID、絕對JSON路徑與主機名稱。請保留憑證路徑周圍的單引號,讓Windows反斜線維持字面意義。

config.yml
tunnel: TUNNEL_UUID
credentials-file: 'ABSOLUTE_PATH_TO_TUNNEL_JSON'
ingress:
- hostname: engine.example.com
path: ^/v1/(models|chat/completions)$
service: http://127.0.0.1:8317
- service: http_status:404

若是其他引擎,請使用對應的分頁只替換path與service。路徑規則只公開TomoriBot的API路由;不符合的路徑會回傳404。

path: ^/v1/(models|chat/completions)$
service: http://127.0.0.1:8317

請填入實際連接埠:CLIProxyAPI預設為8317,ChatMock為8000,KoboldCPP為5001。此設定檔也支援其他OpenAI相容文字引擎。它排除了管理API與卸載模型操作。

若要公開多個引擎,請在最後的404規則之前為每個引擎新增主機名稱規則。為每個引擎指定各自的主機名稱與回環連接埠。單一通道即可服務所有引擎。

在包含config.yml的資料夾中開啟終端機並驗證設定:

Terminal window
cloudflared tunnel --config ./config.yml ingress validate

接著發布DNS並執行通道:

Terminal window
cloudflared tunnel route dns home-engine engine.example.com
cloudflared tunnel --config ./config.yml run home-engine

若有多個主機名稱,請針對每個主機名稱執行一次route dns。讓引擎與連接器維持執行;不需要路由器連接埠轉發或連入防火牆例外規則。測試完成後,可依照Cloudflare的服務說明設定自動啟動,並為服務帳號指定明確的設定檔與憑證路徑。

開啟/providers以在該伺服器共用連線,或開啟/personal providers以使用你自己的連線:

引擎API相容性端點URL
CLIProxyAPI、ChatMock、KoboldCPP、其他文字引擎OpenAI 相容https://engine.example.com/v1
ComfyUIComfyUIhttps://engine.example.com
本機TTS包裝器tts-clonehttps://engine.example.com

如果引擎有強制驗證,請將引擎的用戶端金鑰作為驗證權杖填入;否則請留空。CLIProxyAPI使用access.api-keys底下的金鑰。KoboldCPP的文字API使用其設定的密碼。僅在TomoriBot中輸入任意權杖並不會在引擎端啟用驗證。

在已儲存的連線下新增模型,為對應功能選取它,並測試一則簡短請求。若是ComfyUI,也請測試參考圖片上傳、輸出下載與取消工作。若是TTS,請確認可播放的音訊。請在引擎上保持停用管理功能。

如果引擎強制驗證,請確認受保護的請求會拒絕缺少或錯誤的金鑰。如果沒有驗證,請閱讀下方「已知風險」說明的剩餘暴露風險。若有需要,可選用Access與Caddy提供額外保護。

症狀檢查項目
502引擎是否正在執行、回環連接埠是否正確、連接器是否在同一台電腦上
1033或通道中斷連接器程序、對外連接埠7844、網路連線與電腦休眠狀態
401引擎的用戶端金鑰或密碼是否與TomoriBot的驗證權杖相符
403或HTML登入頁面現有的Access應用程式可能會阻擋直接的API呼叫;若有使用,請參閱選用Access設定
404引擎設定檔與URL是否正確;文字端點應剛好只有一個/v1
串流中斷或524引擎與上游健康狀況、電腦休眠與Cloudflare逾時限制
大型上傳失敗Cloudflare上傳限制與bot及引擎限制;base64會增加酬載大小

請透過API以位元組回傳生成的媒體。託管的bot無法讀取你電腦的本機檔案路徑或回環下載URL。生產環境端點需要公開HTTPS與公開DNS回應;請維持啟用TLS驗證與SSRF檢查。

當你使用TomoriBot的供應商面板時,TomoriBot已經緩解了以下風險:

風險現有緩解措施
一般成員在面板中讀取已儲存的端點面板為臨時訊息。伺服器供應商設定需要管理伺服器權限;個人設定僅載入執行指令使用者自己的設定。
供應商錯誤在聊天中暴露其URL或金鑰公開錯誤使用在地化說明。原始文字錯誤詳情僅限伺服器管理員檢視(伺服器憑證)或擁有者檢視(個人憑證)。媒體工具失敗只會回傳分類訊息。
ComfyUI輸出連結洩漏引擎URLTomoriBot會下載輸出並上傳到Discord。
開啟連接埠直接暴露電腦引擎維持在回環位址,並由cloudflared對外建立連線;不需要公開的連入引擎連接埠。