Text-to-Speech (Engine cục bộ)
Tạo tin nhắn thoại tự nhiên và lời nói của nhân vật trực tiếp trên máy của bạn mà không phải trả phí cho mỗi ký tự hoặc truyền âm thanh tới API giọng nói của bên thứ ba.
TomoriBot coi giọng nói như một tính năng endpoint tùy chỉnh. Các engine cục bộ chạy bên ngoài bot dưới dạng máy chủ HTTP và triển khai POST /synthesize; các engine nhân bản nhận văn bản kèm theo mẫu âm thanh tham chiếu đã cấu hình, trong khi các engine có khả năng VoiceDesign cũng có thể nhận hướng dẫn bằng ngôn ngữ tự nhiên.
Các engine khả dụng
Luồng thiết lập
- Chọn một engine từ các thẻ ở trên và thiết lập wrapper của nó từ
servers/tts/. - Trong
/providers, chọnThêm endpoint tùy chỉnh mớivà sử dụng API Compatibilitytts-clone. - Chọn endpoint đã lưu và sử dụng dropdown model của nó để thêm model Speech, Voice Source Mode và Script Markup.
- Mở
/config> Models > Switch Models và chọn endpoint dưới mụcTTS (Voice Design)hoặcTTS (Voice Clone). Các endpoint Auto sẽ kích hoạt cả hai lựa chọn; xóa một lựa chọn vẫn giữ nguyên lựa chọn còn lại.
Để biết các nhà cung cấp giọng nói được lưu trữ trên đám mây và tùy chọn cá nhân, hãy xem Giọng nói: TTS & STT.
Truy cập mạng
Mọi máy chủ TTS cục bộ đều mặc định liên kết với 127.0.0.1, nên chỉ bot trên cùng máy mới có thể kết nối được. Khi TomoriBot chạy trong Docker hoặc trên một máy khác, hãy đặt TOMORI_TTS_HOST=0.0.0.0 cho máy chủ và đăng ký endpoint bằng địa chỉ của máy chủ vật lý, ví dụ http://host.docker.internal:8015.
Mỗi máy chủ đọc biến cổng riêng (CHATTERBOX_PORT, QWEN3TTS_PORT, IRODORI_TTS_PORT, FISH_S2_PORT, VOXCPM2_PORT, COSYVOICE3_PORT, MOSS_TTS_PORT), nên nhiều máy chủ có thể chạy cùng lúc từ một .env. bun run launch truyền .env cho các máy chủ mà nó khởi động; một máy chủ được khởi động thủ công chỉ đọc môi trường shell của nó.
Các máy chủ không có xác thực: bất kỳ ai kết nối được tới cổng đều có thể chạy tổng hợp trên GPU của bạn. Chỉ liên kết ra ngoài loopback trên mạng bạn tin cậy, và đặt một reverse proxy có xác thực phía trước bất kỳ máy chủ nào bạn mở ra ngoài mạng đó.
Giọng nói của persona
Để nhân bản giọng nói, hãy tải lên một mẫu âm thanh rõ ràng, đơn giọng trong /config > Models > TTS Parameters & Voices, sau đó gán mẫu đó trong Persona > Voice. Hãy kiểm tra hướng dẫn của engine để biết độ dài clip được khuyến nghị và yêu cầu bản ghi văn bản.
TomoriBot chấp nhận các mẫu âm thanh lên đến 130 giây và chuyển đổi chúng thành WAV đơn âm (mono). Giới hạn dung lượng tải lên mặc định là 10 MB; SPEECH_SAMPLE_MAX_MB có thể thay đổi giá trị này. Một định dạng nén như FLAC có thể giúp clip dài vừa vặn với dung lượng giới hạn.
Đối với các engine hỗ trợ thiết kế giọng nói, hãy lưu mô tả giọng nói trong Persona > Voice. Một persona có thể có cả mô tả và mẫu âm thanh; mức ưu tiên Voice Source sẽ chọn nguồn khả dụng nào để thử trước. Xem hướng dẫn của từng engine để biết các chế độ và script markup được hỗ trợ.
Bật tin nhắn thoại trong /config > Permissions, sau đó yêu cầu một persona gửi tin nhắn thoại hoặc sử dụng /generate voice-message để dùng thử.