ひとまず、パピフォンはVRoid hubでの公開に漕ぎつけたし、コンテストとか関係無い割にはいいねも結構頂いていたりして、一段落といった感じでした。
VRoid Hubのおかげで対応アプリケーションの中で暴れまわれるし、色々試してみたい所なんですが、その前にもう少しだけキャラクターとして生きてる感じを固めたいなぁ…と思ったりしました。
以前、Microsoft Teams上での会議に、Luppetというバストショット特化型のトラッキングシステムを使って、いわゆるVTuber的に参加した事があるのですが、これのセットアップをちょっと細工したら簡単に動画作れないかな、と。
・・・で、間すっ飛ばして結論から先に言っちゃうとこんな感じになりました。
音声合成ソフト選んで導入してみました。この顛末が中々調べてて楽しかったのでその話でも。
そもそも、昨今の音声合成のレベルが凄いことになってるなーというのは愛読している藤本健さんのDTMステーション でうっすら感じていたので、サイト記事いくつか読み漁って最近の状況とかをなんとなく把握しました。じゃ、いざ自分が購入すべき製品は…となって各社の製品サイト見に行くとこれまたややこしい。
情報漁って、今回は音声合成なので候補に挙がったのは、
- VOICEVOX (ヒホ氏作エンジン、無料、要クレジット表記)
- CeVIO AI TALK / CeVIO CS7 (CeVIO製エンジン、AHS販売)
- VOICEROID2 / VOICEROID+ (株式会社エーアイ製エンジン、AHS販売)
- A.I.VOICE (株式会社エーアイ製エンジン、販売もエーアイ)
この辺でしょうか。開発会社と販売会社の組み合わせがあってややこしい…。さらに２つ書いてある奴は左側に書いた奴が新しいエンジンを載せてる製品ですが併売中です。普通なら新しいものに入れ替わる所なんでしょうが、これらの製品の特別な理由として、それぞれの製品にキャラ付けがあって古い方にしかないキャラがいたりとか、その辺の絡みもありそうです。
ここで、将来は歌声合成も使えたらいいかもなーとか思ってしまったりすると(僕ですが)、さらにややこしくなります。歌声合成の方も
- CeVIO AI SONG
- Synthesizer V (DREAMTONICS製エンジン、AHS販売)
- VOCALOID4 (YAMAHA製エンジン、AHSやクリプトン販売)
…などなどこれ以外にも色々あるとは思います。もう脳メモリいっぱいなのでこの中に絞ったとしても、今度はは一人のキャラでも音声合成と歌声合成で別の会社のエンジン使ってたり、エンジンの世代が違ったり、と声を揃えようと思うとまたややこしい事になってました。
例えば最初色々見ていくうちにぶつかった動画がこちら。
とってもクリアなのにパワフルな声で歌うのはSynthesizer Vエンジンの京町セイカ。歌声としてはとても理想の声だったんですけど、このキャラクターの音声の方を探すと…VOICEROID+EXの製品なんですね。AHSのサイトでサンプル入力で試したり出来るのですが、やはりAI移行前の製品なので若干喋りに起伏が無い…。とか、こんな感じでやはり最後は自分の耳でサンプル聞きまくりながら納得のいく組み合わせを探しました(^^;
購入前に気を付けないといけないのは、各社ライセンス条件が微妙に違ってたり、キャラも使うとなると今度はキャラの版権持っている所のライセンス条件が絡んできたりとこれまた相当ややこしい事です。「商用利用は不可だけどYoutubeの動画の収益はOK」とか「ゲームへの利用はNG」とかとにかく細部にわたって各社条項があるので、ある程度購入対象決まったらしっかり確認してから購入した方がよさそうです。
で、最終的に何を購入したんだ、という話ですが、僕はコレを選びました。
CeVIO AI の「小春六花」スターターキットです。エディタと音声パックがセットになって少しお得な奴ですね。いろいろ見た中ではパピフォンのイメージの声に比較的近かった事、音声が非常に聞き取りやすかった事、喜怒哀楽の表現がはっきり分かりやすかったなどが上がります。使用条件周りも僕の当初の用途だと大丈夫そうです。
さらに言えば、小春六花はCeVIO AI Songでは無いのですがSynthesizer Vの方で歌声合成もありまして、サンプル聞いても非常にクオリティ高いのが分かったので、まぁ、こちらもいつか触れる機会が来ればいいなぁ…程度に気にしておきました(^^;
そんな感じでCeVIO AIを導入してイントネーションとか感情をちゃちゃっと調整して.wavファイルに出してみました。この.wavファイルを僕の場合はVoicemeeter Bananaというアプリケーションに食わせて、Luppet側に出力、Luppet側は口パクする必要があるのでリップシンクを音声ベースに切り替えて入力をマイクではなくBananaからの出力に切り替え、そのLuppetの画面と音声をOBSで録画、みたいな構成で一応一通りの録画が出来ました。
Luppet側はLuppet側で小細工してるのですが、まぁ、その辺の話はまたいずれ…。ただ、録ってみた感じ動きもリアルだし、発音もキレイだしこれはこれで良いなーと思うのですが、いかんせんLuppetのモーションキャプチャーベースなので振り付けは自分で演技する必要があります。動画の中でも変な動きしてるのは僕がキョドってるからなんですよね。
Webカメラの前で変な動きしてる所を娘に見られてパパ何してるの…？と不思議そうな目で見られたり(^^;、音声の続き忘れて動作が遅れたり、とこれはこれで面白いけど、毎回やるのもしんどいかもなぁ・・・と思った所が次の課題となりました。このお話の続きはまた次回にでも。
（最後に余談となりますが、2022/02/24現在、上で上げたものに加えてDREAMTONICS開発、AHS販売の音声合成ソフトVOICEPEAKが発表され、CeVIOからはCeVIOが自ら販売する予定の歌声合成ソフトCeVIO Proが発表されました。うん、戦国時代か。）