burikiyaのブログ

配信ツールなどの設定方法など(上級者向け)

音声認識翻訳 & 聞き取り認識翻訳

~2023/9/01 更新~

「しばらくMSJPサービス停止します」    とのこと

 

*新しいサービスを開発中のこと 新規サービスには、アカウント引き継ぎ無しで
一からアカウントを制作することに なるそうです。

新たに登録が必要みたいです。

 

使い方

音声認識翻訳されたものを配信画面に表示させたり

RTT(聞き取り認識翻訳) で 海外の配信者を視聴しながら (話を翻訳確認して)
STT(音声認識翻訳) で コメントしたいことを呟き 翻訳したものをコピペにて
送ったり

 

 Speech To Trance(STT)  &  Read to Trance(RTT)

MixerStream JP の管理人であるVTF氏が作製した翻訳ツールです。
STT(音声認識翻訳) 
RTT(聞き取り認識翻訳)
翻訳字幕システム
開発途中のため 不具合、未対応の部分があります。

 

こちらのツールを使用するには、MixerStream JP のアカウントが必要です。
ログイン又はアカウントをお持ちでない方は、新規登録してください。

 

仮想オーディオデバイス

ダウンロード|SYNCROOM(シンクルーム)

Windows 64 bit 版をクリックにて

VB-Audio Virtual Apps

Windows 版をクリックにて

VB-Audio VoiceMeeter Banana

*Install 版をクリックにて

ポータブルChrome  を ダウンロード、インストールしてください。

Google Chrome Portable (web browser) | PortableApps.com

64bit版は青枠のとこクリックにてダウンロード

ダウンロードしたもの(ポータブルChrome)を フォルダー名STT.RTT を 作って中に入れて
保存しておくと便利です。 (フォルダーの名前は任意のものでいいです)
VirtualAudioCable は 解凍後、フォルダーの中の VBCABLE_Setup_x64.exe
右クリックから管理者として実行(A)クリックにて実行してください。

Google Chrome Portable は、Dドライブに STTとRTTなどのフォルダーを作って その中に入れて 2つ  使えるように しておいてください。
定期的に新しくダウンロードして手動更新してください。

【STT(音声認識翻訳)】

MSJPの左上赤枠クリックから ツールー翻訳字幕システム に移動

このURLを Google Chrome Portable に貼って保存。
Google Chrome Portable の設定から 特定のページまたはページセットを開くにて
このURL(サイト)を指定すると便利です。
字幕プリセットの設定をクリック
デザインストアから好みのデザインを選んで このデザインを利用するをクリックにて導入
又は、字幕プリセットを新規制作ーエデェタを開く から自分好みのデザインを製作してください。

字幕プリセットを導入後

表示用リンククリックにて 開いたブラウザのURLをコピー
このURLを各配信ツールのブラウザに設定します。
*プリセットの名前 CSS書き換え などを変更するとURLが変わるので注意してください。
表示リンクの再設定が必要になります。
入力言語を 日本語 に 出力音声を  (en-US)Google US English などに変更  
出力音声を読み上げる場合、右上アイコン(スピーカー)を有効にして音量などを
設定してください。
この方法により海外の人々とコミュニケーションがとれやすくなります。
できるだけ ゆっくり正確にハッキリ喋るようにしてください。
HTML5コメジェネ ブラウザのURL に貼り付けてください。(OBS系)
Xsplit は、Paste(ペースト) にて貼り付けてください。
幅 600
高さ 300

【再生】
インストールしたデバイスをクリックして 詳細 の部分 既定の形式を
16ビット、480000 Hz(DVDの音質) 又は 16ビット、441000 Hz(CDの音質)に変更してください。(ライン yamahaは、変更せずに)
【録音】
普段使っているマイクを既定値に設定
追加したデバイス(4つ)をクリックして 聴く を開く
このデバイスを聴く にチェックを入れて ヘッドセット などの配信で使用するデバイスを指定してください。

<Xsplitの場合>
棒読みちゃんを 起動後 F10を押して設定画面を 開き    
システム ー音声出力デバイス 
クリックにて  一番上の Microsoft サウンド マッパー をクリックしてOK を押してください。
Xsplit での設定追加はなくても棒読みちゃんの声が追加されます。

<OBS系の場合>
棒読みちゃんを 起動後 F10を押して設定画面を 開き  
システム ー音声出力デバイス クリックにて
ライン(yamaha SYNCROOM)をクリックして OK を押してください。
OBS系の配信ソフトの設定ー音声ーマイク音声デバイス 2 に 
ライン(yamaha SYNCROOM)を追加してください。
この追加にて棒読みちゃんの声が追加できます。
*この設定にすると棒読みちゃんは、ヘッドセットなどのデバイスからでしか聴けなくなります。
戻すときは、棒読みちゃんの 音声出力デバイス  Microsoft サウンド マッパー  をクリックしてOK を押してください。

【STT(音声認識翻訳)  翻訳字幕システムの使い方】

翻訳字幕システムを起動させます。 サウンドの再生デバイスを配信で使用するデバイスを指定してください。
(ヘッドセット イヤホンなどの)
録音部分は、マイクを指定してください。
配信開始前に、一言「テスト」など言ってみてコメントがちゃんと表示されているか 
確認してください。

【英語などの音声を日本語に変える RTT(聞き取り認識翻訳)】

海外の配信者の音声を日本語に変える方法です。
入力語源をUnited States(US英語)などに変える。
出力音声を(ja-JP)Google 日本語に

赤枠の部分クリックから
マイクを VoiceMeete Aux Output に変えます。
通常は 既定(マイク)
タクスバーの音量アイコンから再生デバイスを VoiceMeete Aux Input に変える。

 

*メンテナンスなどで使用できない場合があります。

 

 GAS利用した各自のリミットで利用できる翻訳処理の実装追加
読み方は「グーグル アップス スクリプト」で略称はGAS(ガス)
3 分で作る無料の翻訳 API with Google Apps Script
GASを利用した各個人で翻訳用APIを用意し
MSJPでの各種翻訳処理を自身のリミットのみで利用出来るように対応

 マイチャンネルー右上のアイコンクリックして
Dashboard(ダッシュボード)ー連携設定
翻訳API連携(GAS)のURLを追加します。(これを追加しないと翻訳できません)

GASの準備方法 

プロジェクトの作成  クリックにて

左端上の新しいプロジェクトをクリック 
無題のプロジェクトの部分クリックから任意の名前を変更してください。
(Translationなど)
コードを
function doGet(e) {
const p = e.parameter;
const translatedText = LanguageApp.translate(p.text, p.source, p.target);
return ContentService.createTextOutput(translatedText);
}
に書き換えて青枠の部分クリックにて必ず保存してください。

 

右上のデプロイクリックから新しいデプロイをクリック

種類の選択ヨコ 歯車アイコンクリックから ウェブアプリを選択
アクセスできるユーザーを全員に変更してデプロイをクリック(しばらく待ちます)
完了をクリック
デプロイーデプロイを管理からウェブアプリのURLをコピー
このURLを 翻訳API連携(GAS) の GAS URL に貼り付けて追加してください。
APIテストクリックにてAPIが利用可能か確認してください。

ホームページ(マイチャンネル) 赤枠の部分クリックから 視聴ページへ移動

 

burikiyasanのチャンネル | MixerStream JP

 

VTF / MSJP掲示板 · GitLab

要望、不具合報告などは、こちらから

 

Voicemeeter Banana     起動後エラーが出た場合
VB-AUDIO VOICEMEETER BANANA と VB-AUDIO Virtual Audio Cables を
全部アンインストールした後、PCを再起動して
再び、インストールすると直る場合があります。

【高度な使い方】

 RTT(聞き取り認識翻訳) で海外の配信者を視聴しながら (話を翻訳確認して)
STT(音声認識翻訳) でコメントしたいことを呟く
翻訳したコメントをコピーした後、コメント欄に貼り付ける
* マイクは、 VoiceMeete Aux Output(Input) に

 

Audio Switcher のダウンロードと使い方 - k本的に無料ソフト・フリーソフト

既定の再生デバイス / 録音デバイス を、簡単な操作で変更できるようになります。
ホットキーで変更
Settings の上3箇所にチェックを入れることで
PC 起動時に、Audio Switcher  を自動で起動してタスクトレイに最小化した状態で設定できます。

 

この他に 音声認識翻訳を配信画面に表示させる方法