Speech-to-Text（ローカルエンジン）

免責事項

このページは生成AIによって作成された下書きです。内容は確認済みですが、正確な情報はソースコードもあわせてご確認ください。

TomoriBotは、Speech-to-Textをtranscriptionカスタムエンドポイント機能として扱います。有効なtranscriptionエンドポイントが存在する場合、音声添付ファイルはバックグラウンドで文字起こしされ、会話コンテキストに追加されます。

表示される文字起こしの投稿は別です。/speech transcriptsは、ボイスメッセージの文字起こしをチャットに表示して投稿するかどうかのみを制御します。バックグラウンドのSTTを有効または無効にすることはありません。

利用可能なエンジン

WhisperXservers/sttにあるリファレンスWhisperXサーバーを使用した、初心者向けのローカル文字起こしです。

whisper.cppOpenAI互換の文字起こしエンドポイントを公開している場合は、軽量なwhisper.cpp HTTPサーバーを使用します。

KoboldCPPビルドがOpenAI互換の音声文字起こしを公開している場合は、KoboldCPPのWhisperベースのSTTを使用します。

セットアップ手順

1. 上記のエンジンガイドからSTTサーバーを1つ起動します。
2. /provider custom-endpoint addを実行し、capabilityにtranscriptionを、api styleにopenai-compatible-transcriptionを使用して登録します。
3. 今後、登録済みのSTTエンドポイントを切り替える場合にのみ/model transcriptionを使用します。

文字起こしの流れ

transcriptionエンドポイントが有効な場合、TomoriBotはサポートされている音声添付ファイルをバックグラウンドで読み取り、チャットコンテキストに文字起こしを追加します。ペルソナの割り当ては必要ありません。

文字起こしをチャットに表示して投稿したい場合にのみ、/speech transcriptsを使用してください。

ElevenLabsのユーザーは/speech elevenlabsを使用する必要があります。これにより、speechと一緒にtranscriptionが登録されます。