コンテンツにスキップ
TomoriBot

Speech-to-Text（ローカルエンジン）

音声メッセージと音声添付ファイルをローカルで文字起こしすることで、TomoriBotは録音をサードパーティのクラウドAPIに送信せずにチャット内の音声を理解できるようになります。

TomoriBotは、speech-to-textをtranscriptionカスタムエンドポイント機能として扱います。音声添付ファイルはバックグラウンドで文字起こしされ、アクティブな文字起こしエンドポイントが存在する場合に会話コンテキストに追加されます。

目に見えるトランスクリプトの投稿は別です。/config > エンジン > 通知は、音声メッセージのトランスクリプトをチャットに投稿するかどうかのみを制御します。バックグラウンドのSTTを有効または無効にすることはありません。

利用可能なエンジン

WhisperX初心者向けのローカル文字起こし。servers/sttにある参照WhisperXサーバーを使用します。
ささやき.cppOpenAI互換のトランスクリプションエンドポイントを公開する場合は、軽量のWhisper.cpp HTTPサーバーを使用します。
KoboldCPPビルドがOpenAI互換のオーディオトランスクリプションを公開する場合は、KoboldCPP WhisperベースのSTTを使用します。

セットアップの流れ

  1. 上記のエンジンガイドから1つのSTTサーバーを起動します。
  2. /providersで、+ 新しいカスタムエンドポイントを追加 (またはAdd New Custom Endpoint) を選択し、openai-compatible-transcription (OpenAI互換文字起こし) を選択します。
  3. 保存されたエンドポイントを選択し、そのモデルドロップダウンを使用して、サーバーによって報告されたモデルコードを追加します。
  4. /config > モデル > モデルの切り替え を開き、登録されたエンドポイントを選択してアクティブ化します。

トランスクリプトフロー

文字起こしエンドポイントがアクティブな場合、TomoriBotはサポートされている音声添付ファイルをバックグラウンドで読み取り、文字起こしをチャットコンテキストに追加します。ペルソナの割り当ては必要ありません。

これらのトランスクリプトをチャットに視覚的に投稿したい場合にのみ、「/config」>「エンジン」>「通知」を使用します。

ElevenLabsユーザーは、/providersで新しいプロバイダーを追加およびElevenLabsを選択する必要があります。音声と一緒に文字起こしも登録します。