コンテンツにスキップ
TomoriBot

Speech-to-Text（ローカルエンジン）

TomoriBotは、Speech-to-Textをtranscriptionカスタムエンドポイント機能として扱います。有効なtranscriptionエンドポイントが存在する場合、音声添付ファイルはバックグラウンドで文字起こしされ、会話コンテキストに追加されます。

表示される文字起こしの投稿は別です。/config > 動作 > 一般的な動作の通知は、ボイスメッセージの文字起こしをチャットに投稿するかどうかのみを制御し、バックグラウンドのSTTを有効または無効にすることはありません。

利用可能なエンジン

WhisperXservers/sttにあるリファレンスWhisperXサーバーを使用した、初心者向けのローカル文字起こしです。
whisper.cppOpenAI互換の文字起こしエンドポイントを公開している場合は、軽量なwhisper.cpp HTTPサーバーを使用します。
KoboldCPPビルドがOpenAI互換の音声文字起こしを公開している場合は、KoboldCPPのWhisperベースのSTTを使用します。

セットアップ手順

  1. 上記のエンジンガイドからSTTサーバーを1つ起動します。
  2. /providersで新しいカスタムエンドポイントを追加を選び、API互換性にopenai-compatible-transcriptionを使用します。
  3. 保存したエンドポイントを選択し、モデルのドロップダウンからサーバーが報告するモデルコードを追加します。
  4. /config > モデル > モデルの切り替えを開き、登録したエンドポイントを選択して有効化します。

文字起こしの流れ

transcriptionエンドポイントが有効な場合、TomoriBotはサポートされている音声添付ファイルをバックグラウンドで読み取り、チャットコンテキストに文字起こしを追加します。ペルソナの割り当ては必要ありません。

文字起こしをチャットに表示して投稿したい場合にのみ、/config > 動作 > 一般的な動作の通知を使用してください。

ElevenLabsのユーザーは、/providersで新しいプロバイダーを追加とElevenLabsを選んでください。これにより、speechと一緒にtranscriptionが登録されます。