ＣＧ

何かと話題のChatGPT

　最近、何かと耳にしたChatGPT。自分も少し使ってみてはいたのですが、検索結果の真偽性はともかくとして、やはり会話形式で応答があるのはなんとなく人にやさしい感じがします。

　回答の仕方も人とチャットしているかのように自然だし、プロンプト的なものを使ってちょっとしたキャラクター付けも出来るみたいだし、そしてAPIも公開されていて、既にいろいろ作られている方も見掛けましたので、自分もその辺を参考にさせて頂きながら、何か作れないかなと思って合間の時間でちょこちょこ弄ってみました。

とりあえずパピフォンとお話しできた

　で、合間の時間で少しずつ進めて、なんとなく動作するところまで作ってみたのがこちら。

まぁ、ローコストで作ったので至らぬ点は多いのですが、なんとなく会話は成立していると思います。

会話の仕組みは簡単

　仕組み自体は誰しもが思いつくであろう組み合わせです。

　ベースはUnityでモデルはいつも通りパピフォンのVRMも読み込んでいます。で、前回のMV動画同様に目の動きにRealistic Eye Movement、口パクにはuLipySyncを今回はリアルタイム処理で使用、あと体が硬直しているとおかしいので少しだけ動くモーションを割り当てています。

　で、この上に質問と回答の仕組みを載せています。

マイクからの入力を文字列にする

　質問はマイクからの入力をUnity上で一旦AudioClipとして録音します。で、これをAudioClipからWavファイルに保存します。このWavファイルをChatGPTと同じOpenAI社のWhisperのAPIに投げています。他にもソリューションあるのかもですが、ひとまずChatGPTが話の起点だったので、同じOpenAIアカウントとAPIキーが使えるのが便利だなという事で。

　WhisperからはWavファイルから解析した日本語文字列が返ってくるのでこれを問い掛け文字列として受け取ります。

　UnityからWhisperに投げる所の実装については以下のサイトの記事が非常に参考になりました。ありがたし。

■Whisper APIをUnityで動かす
https://zenn.dev/dara/scraps/b8e2c8e994b384

問い掛け文字列をChatGPTに投げる

　で、問い掛け文字列が出来た所でこれをChatGPTのAPIに投げています。この時、ChatGPTに前提として少しだけキャラ設定的なものを付加しています。なので、通常のWebから検索的に質問を投げた時とは少し違った雰囲気で返答文字列が返ってきています。動画の中で語尾にやたら「ワン！」が付いているのとかが分かると思います。

　ChatGPTに投げる部分の実装は以下のサイトが非常に分かりやすいと思います。

■ChatGPT APIをUnityから動かす。｜ねぎぽよし
https://note.com/negipoyoc/n/n88189e590ac3

　そう、いつもお世話になっているLuppetの作者様の記事です。つよい。

ChatGPTの返答をCeVIO AIでキャラクタの声にする

　ChatGPTから返された(キャラ付けされた)返答文字列は一旦テキストファイルに出力しています。で、今度はこれをキャラに喋らせる為にCeVIO AIにかけるのですが、ちょっとここで細工が必要になりました。

　CeVIO AIにコマンドラインからテキストファイル→キャラの発声Wavファイルが出来れば良かったのですが、標準ではその機能な無いようです。ただ、CeVIO AIはVisualStudio 2019の環境で使えるDLLの情報を公開してくれているので、今回はこれを使って指定したテキストファイルからキャラの発声Wavファイルを生成するコンバータを別途作成しました。

　作成しました…とはいえここに上がっているサンプルコードをちょっと改造してやっただけなのですが(^^; とても参考になりました、ありがとうございます。

■CeVIO AI ユーザーズガイド | .NETアセンブリとして利用
https://cevio.jp/guide/cevio_ai/interface/dotnet/

キャラクタの発声WavファイルをUnity上で再生する

　CeVIO AIから出力されたWavファイルが出来たらそれをUnity側にAudioClipとして読み込み、そのAudioClipをUnity上に用意してあるAudioSourceオブジェクトに設定してPlay()すれば応答完了となります。AudioSourceにはuLipSyncの設定がされているので発声を解析しながら適した口の形状で口パクしてくれます。

キャラの性格付けが面白い

　動画の中ではパピフォンが（事情を知っていると）好き勝手喋ってますが、実はChatGPTに前提(content)として投げている設定は次の文字列だけだったりします。

「"あなたはパピフォンという名前の16歳の少女です。元気よく話します。喫茶店でアルバイトをしています。犬が大好きです。おすすめの犬種はボストンテリアです。語尾に「ワン」をつけて下さい。"」

　動画の中では最初に自己紹介をしてもらっていますが、そこはこの設定に忠実に述べているようです。

　2つ目の質問は「普段は何をしていますか？」と既に無茶振りな感じの質問をしていますが、「普段は学校に行っている」とか「学校が終わるとアルバイト」とか返ってきて驚きました(^^;。直結するような設定は無いのですが、ChatGPTが知っている"元気の良い16歳の少女"の普段がこんな感じで記憶されているのでしょうか…。

　また、「犬が大好きです。」の設定の影響で「家に帰ると犬と遊んだり散歩に行ったりする」という回答が導かれているようです。「休日は映画を見たり旅行に行ったりする事もある」とかは、もうキャラを作った僕すらも知らなかった設定です(笑)。

　３つ目の質問はうちのリアル娘ちゃんが近くでアイスクリームうんぬん…喋ってたのを聞いて、咄嗟に質問したという無茶振り極みのような質問です。生きてるうちにAIにアイス食べるか聞く時代がこようとは・・・(^^;。でも、ここでもちゃんと「16歳の少女で元気よく話す」という設定が効いているのか、「アイスクリーム大好き」とか「一緒に食べると嬉しいです」とか言われちゃいます。まるでこちらの心情まで察してくれているかのように…ｽｹﾞｰ。

課金の話

　そんな感じでキャラ付けも出来るので、トコトン細かい所までの設定や膨大なシナリオを決めて、キャラクターとして細かく制御も出来そうではあるのですが、そうするとちょっと気になってくるのがトークンの使用量。

　ChatGPTはただWeb版を使うだけなら無料ですが、APIを使うにあたってはAPIキーを取得して作成したアプリケーションに埋め込む必要があります。このAPIの取得にはChatGPT Plusへ加入が必須となっており、その料金は月額20ドル(4/17日現在、日本円で2600円ぐらい)となっています。

　加入直後は数ドル分のトークンが付いてくるので、それで充分簡単なアプリの動作チェック等は行えますが、消費後もしくは有効期限が切れた後は、使用したトークンの量に併せて課金が発生します。

　トークンってなんやねん・・・って事になると思うのですが、端的に言ってしまえば送受信する文字列の量なのですが、この辺の計算の仕方が英語と日本語で違ったりで、日本語の方がやや使用量多めになる傾向があるようです。

　トークン使用量の注意点については以下のサイトの記事が分かりやすかったです。

　■ChatGPTのAPIの利用料金を詳しく解説！使い方次第でトークン増大で高額費用も
　https://auto-worker.com/blog/?p=7459

　■Chapter 09 OpenAIのAPI料金の計算方法
　https://zenn.dev/umi_mori/books/chatbot-chatgpt/viewer/how_to_calculate_openai_api_prices

　要は細かいキャラ付けや膨大なシナリオを設定する事は出来ますが、それらはChatGPTに質問を投げる度に毎回送信する必要がある為、トークンの使用量が跳ね上がる事になります。また、過去の質問に関連した会話も出来ますが、それにはその過去のやり取りを添付して、新しい質問を投げる必要があるので、これも処理の仕方によってはトークンの使用量が爆増する事になりそうです。

　まぁ、とはいえ1000トークンで0.002ドルだと個人で遊んでる限りは結構使っても大した額は行かなそうではあります。どうしても怖ければOpenAIのサイトから使用量のリミッターが掛けられるようになっているので、それを設定しておけば安心かと。

　で、ちょっと気になっているのが、課金はアプリケーションに埋め込まれたAPIキー→APIキーを持っているOpenAIのアカウントの支払い情報、と紐づく訳ですが、となるとうっかりアプリケーションにAPIキー仕込んだままアプリケーションを公開しようものならトークン使用量の請求は全て作者に来る訳です(^^; 独自の課金システムでも持っているなら良いのかもですが、個人でちょこっと遊ぶ分にはそんな事も出来ないしなぁ…という所です。

　アプリケーション側で入力欄作ってAPIキーの取得をユーザにお願いして入力して貰うという手もありそうですが、これはこれでChatGPT Plusの加入が必須になるので使える人は限定的になりそうです。

　この辺そもそもどうするのが一般的なのかもよく知らないのでちょっと興味ある所ではあります。

合成音声側の話

　実は当初、ChatGPTからの回答の読み上げにはCeVIO AIでは無く、VOICEPEAKを使おうと思っていました。というのもVOICEPEAK本体にコマンドライン実行機能がありまして使用が手軽そうだったので。以下のサイトを参考にさせていただきました。

voicepeak v1.2.1のコマンド – takashiskiのブログ
https://takashiski.hatenablog.com/entry/2023/01/13/235249

　今回のアプリケーションの中には既にこのコマンドラインの書式でVOICEPEAKを起動するクラスを実装済みで、現にWavファイルも出力されるのですが、この出力されたWavファイルで躓きました。

　ちょっと原因がまだ確定していないまま放置になっているのですが、実行時に作成されたWavファイルをUnityのAudioClipに読み込む際に、どの読み込みアセット使っても尽く失敗するんですよね…。Wavっててっきりベタしか無いものだと思ってたんですが、エラーの内容やヘッダーの情報見る限り、圧縮か何か掛かっている雰囲気がありました。ACMって奴がそれなのか…という気もするのですが、情報が少なく詳細不明。もしこれならオプションで非圧縮に出来ると良かったのですが…。

　で、今回のアプリケーションではパピフォンを使っていたので、よく考えたらいつも声当ててるのCeVIO AIの小春六花だなーという事でCeVIO AIに変更。調べたら、CeVIO AIは本体にはコマンドライン実行機能は無いようなのですが、前述の通り、CeVIO AIとのやり取りを仲介してくれるDLLの仕様が公開されている為、こちらを利用してコマンドライン用のコンバータ(exe)を作成した流れになっています。CeVIO AIから出力されたWavファイルはUnityのいずれのアセットでも普通に読み込めたので、課題自体はこれでクリア出来ました。(VOICEPEAKのWavはいずれ調べてみようかな…)

画面が縦長な理由

　元々このアプリケーション、手持ちのLooking Glass Portraitにパピフォンを表示しようと思って弄ってたアプリケーションだったんですよね。でも、画面の設定が上手くいってなくて何故か横の解像度だけが２倍になってしまうという現象に頭を悩まされています…orz。

　裸眼立体視のキャラとお話し出来たら「そこにいる感」凄そうなんですけどねー。これはもうちょっと先になりそうです。

今後の動向

　ここまで作っておいてなんですが、OpenAI社の方で今後、音声や画像による入出力が出来るようにする計画があるらしいので、キャラは兎も角、質疑応答に関しては標準で出来るようになる日は遠く無さそうです。音声認識についてはWhipserあるし、回答作成についてはChatGPTがあるので、最後の合成音声部分はどういう実装になるのかなーというのが気になる所ではあります。

　単純に考えればAmazonのアレクサのように単一の声(とは言え最近男声も追加されましたが)による応答で充分機能は果たせるのですが、声まで何か弄れるようなギミックがあったら面白そう…というか既存の合成音声ソフトにも影響出そうで怖くはあります(^^;。

　まぁ、しばらくは動向を注視しておこうかなぁと…。

MVっぽいの作ってみた

　気が付けば年も越して2023年、しかも最初の月はあっという間に過ぎ既に２月となりましたが、ようやく作成していたMVを一旦まとめました。長かったですね…。

　2022年初頭からVRoid弄りだしてモデルを作り、６月ぐらいからStudio One弄って楽曲作り、10月ぐらいからUnityで動画作り…みたいな感じでしょうか。

　そもそもコンセプトとして「嫁子供ほったらかしにしない＝作業時間は限られる」「ゲーマーなのでゲームする時間は確保する」「主要な部分は自作、そうでない所はアセットで時短」「こだわり過ぎずに実害少なそうなら次の作業に進む、後でやっぱり気になったら直す」みたいなのがありまして、低燃費走行をずーっと続けていた感はあります。ちゃんと娘ちゃんと一緒に"さいきょうゲッコウガ"も取りましたよ(^^;

School Food Punishment の light prayerという曲

　昔っからこの曲好きで、度々iTunesに入ってるの聴いてたんですよね。バンド自体はもう10年ぐらい前に解散してしまったのですけど、疾走感や透明感のある曲作りというのでしょうか、なんかすっかり身に染み込んじゃってるんですよね。"ＲＰＧ"といえばドラクエでも無く、セカオワでも無く、ましてやロケットランチャーでも無く、School Food Punishmentの曲なんですよ、僕にとっては（どーでもいい）。

　なのでStudio One導入まで行って、さぁ何の曲を打ち込もうか…と思った時にもちろん最近人気の曲とかでもいいなとは思ったんですけど、たぶんそれは誰かがもう打ち込んでくれてるだろうし、だったら今はあまり世で聴ける機会も多くなくなった自分の好きな曲を掘り起こしてみるのも良いんじゃないかな…という事で、＠ELISE(楽譜販売サイト）で譜面を漁り、見つけられたこの曲にする事にしました。

　ただ、この曲、今思えば最初に手を付けるには難易度高かったですね…(^^; 間奏のギター周りとか特に読み手に任せられている部分（でっかいバツ印しかない…）も結構あって僕には受け止めきれなかったナー…なんて思う部分も。

　まぁ、なんにしても原曲は良い曲です。

Studio OneとSynthesizer Vで楽曲の打ち込み

　昔、MIDI楽器を弄っていた時はGS音源などある程度の規格化された音源がありまして、その中ではざっと生楽器の音が一通り揃っていて便利だったのですが、今どきだとこれに相当するのがKOMPLETEの存在なんですかね…。これとシンセ系の音が豊富に収録されているOmnisphere奮発して、今回はこれらの中で作ってみました。昨年末にセールもあったのでちょっと補強しようかな、とドラムとギターの音源を追加しましたが、どちらも習得にそれなりに時間が必要そうだったので今回は使っていません。

　去年の春頃は作ったVRoidモデルを合成音声で喋らせて(トーク)遊んでいたので、Studio Oneで楽曲作るなら当然、合成音声による歌唱付きに挑戦でしょう…という流れでした。合成音声のエンジンはいくつか種類があるのですが、サンプル聴きまくった上で一番僕の理想に近かったSynthesizer Vを選択。独特の文化に成熟したといっても過言ではないVocaloid系の声も嫌いではないのですが、やはり昔、MIDI楽器ではやりたくてもやれなかった自然に近いボーカルというのは個人的には悲願でもあり(笑)、その方向性ならSynthesizer Vかな…と。

　これまたセールに合わせて歌唱データベースはいくつか導入してみたのですが、今回の light playerには合うのはどちらかというと高めのアイドルっぽい声ではなく、低い所から力強く唸ってくれる大人の女声が良いかな…という所で"Saki AI"を選びました。

　実は製作中にSynthesizer Vのシステムの大幅なアップデートがあり、それに合わせて歌唱データーベースも更新されたので、試してみた事はあるのですが、歌唱の表現の幅は広がったっぽいのですが、それまでに作成した部分に結構悪影響が出てしまい、今回は導入を見送っています。なもんで、今回は少し古めの環境(エンジンが2.4.1、Saki AIが119)で作ってます。たぶん、最初から最新データベースに合わせて作っていれば問題ないと思うので次回作は更新してからかなーと思ってます。（実の所エディタ側が落ちる現象も起きてたので戻すしか選択肢が無かった)

Unityで動画を作ろう

　曲がある程度の終盤に差し掛かった頃、手持ちのモデルで挿絵的なもの作りたいよナー…とはうっすら考えてました。ボカロ系の動画で見掛ける、静止画をベースとして切り出しやカメラワーク的なもので飽きさせない絵作りにして、歌詞を載せる感じな奴を3Dモデルで出来ないかな、と。

　さすがにステージモデルから作っていたら終わりが見えないので、ここはUnityのアセットストアで良さげ(且つ、手頃^^;)な奴を探しまして、今回はSICS Games様のToon Fantasy Natureを使わせて頂きました。フォトリアリスティックなステージが多い中、リアル調とアニメ調のちょうどいい中間ぐらいの作りになってまして、VRoidのセルシェーダーと比較的マッチするかなと思ってこの選択になっています。

リップシンクの話

　今回これが無かったら成立しなかったアセットという意味では一番依存度が高いかなと思うのが、凹(へこみ)さんのuLipSyncですね。さすがに発声に合わせてフェイシャルモーション全部手付けとかやってられないですし…。音声解析で自動的に母音ごとに用意した口のターゲットにモーションしてくれる有難いアセットでした。

　当初、実行時にリアルタイムで解析させて使っていたのですが、最終的な動画キャプチャの段階で60FPS全フレームキャプチャする必要があった為、音声解析データからキーフレームに落としてクリップ化して使用しました。この辺の機能の対応も幅が広く、色々な使い方出来そうです。

目は口ほどに物を言う

　リップシンクと共にどうしようかな、って当初困ったのが目のまばたき。モーションクリップでモデルにポーズ付けるにしても、ずっと目を開いたままなので1ショットなら良いですが、ずーっとカメラが回っているような状況だと明らかに不自然です。これに関して検索して辿り着いたのがTore Knabe様のRealistic Eye Movementsアセット。目を自然な感じにまばたきしたり、僅かに視線をずらしてくれたりします。

　・・・します、のハズなんですが、こちらのアセットに関してはちょっと僕の習熟度が足りないようで今一つ制御しきれていない気がします。基本的にはメインカメラの方を見るようにしてるハズなのですが、若干目が泳ぎがちだったり(いやこれで正しいのか!?)、不要な所でこっちをチラ見(こっちみんな笑)したり…このパラメータかな、と思って制御したりはしたんですがどうにも。

　あと、このアセット、目以外にも顔をそちらに向けてくれる機能もあるのですが、顔だけ動くので若干ロボットみありますね…(^^;。聞いた話ではHead Look Controllerというアセットと組み合わせるとSpine側の回転と合わせて自然な動きになるようなのですが、実はこのアセット既にサポート外になっているらしく、アセットストアからは削除されていました…。みんなどうしてるんだろ…。

武装しましょう

　実際出来た動画の通り、最初はポーズだけ付けて静止画的なカットのみ…で考えてたのですが、まぁ、作り出すとあれもやりたいこれもやりたい…という気にはなってきて、アセットストアにも素晴らしいアセットいっぱい並んでるんでモーションデータを中心に年末のセールでいくつか買い込みました。

　で、戦闘モーションやるなら武器無いとな…と思ってた頃に、丁度NEOKETというバーチャルアバターで参加するイベントがありまして、この会場でビビっと来たのがこのIRREGULARS様の武器モデルたち。本来の目的はVRChat向けっぽくはあったのですが、Unityで読み込めるし使えるだろう…という事で迫力のある太刀っぽかったSOHAYAを購入。着脱ギミックまでちゃんと動きました。

　PSO2を遊んでた事もあって武器はSFっぽいのがいいなーとは思ってたんですが、アセットストアには中世のファンタジー系の武器防具は多いものの、意外とSF系のそれは多くなかったりするんですよね…。助かりました。

一番導入の多かったモーションデータ

　今回一番導入した数が多かったアセットはモーションデータです。そもそも、固定ポーズだけで作るつもりだったんですが、CLazy様の Runner Action Animation Pack の動きを見て、「メッチャカッコイイ…これ使いたい…」って思ってしまったのが運の尽き。跳んだり跳ねたりえらい事になってしまいました…。

　アセットストアにモーションデータは数あれど、何気に困ったのは歌ってるモーションというのが殆ど見当たらなかった事。アイドル系の曲のような激しいダンスのデータなら割とあるんですが、いわゆるミュージシャン寄りのMVで見られるような、ステージセンターで歌い上げるみたいなモーションはほぼ皆無かな、といった感じでした。意外とニッチな分野なんでしょうか…。

　そんな中で唯一見つけられたのがRamsterZ様のFemale Lounge Singer。たぶん、動き自体は欧米のジャズシンガーっぽいのかなとは思うのですが、一番イメージに近く、モーションも長尺のものが多かったので扱い易かったですね。ただ、曲のテンポと合うとは限らないので、その辺は実際に楽曲に乗せてみてからこっちの方が合うかなーといった感じで見繕ってました。

見送った要素

　当初の予定よりだいぶ動画の作業が膨らんでしまったのですが、それでも導入をカットした要素もありまして、今後はその辺の実験をしてみたいなーとは思っています。

　大きい所では夜のシーンをやりたいな、と思ったのですがステージへの設定の変更が結構いろいろ必要そうな事と単純にやってキレイ見えるかどうか今一つ分からなかったというのがありましてこれは今回見送っています。

　夜のシーンやるのであれば天候シミュレーション入れてみるのも良いのかな、と一つアセットも用意はしてみたのですが、導入した所シーンが非常に重くなってしまったので、これは色々最適化しながら使う必要がありそうとの判断で今回は見送りました。今度じっくり弄って色々な絵を出してみたいなと思っています。雨とか雪も楽しそう。

　パーティクルもやりたかったのですが、これは仕組みの習得が中々時間がかかりそうだった事と、爆発やら魔法のエフェクトをキレイに見せるにはやはり夜のシーンがいいかな…という事でやはり前述とセットで見送りに。

　ブルームを入れれば簡単に世界が変わると何処かで見掛けたので、導入してみた事もあるのですが、そもそもフォトメトリックな絵じゃなくてキャラもセルシェーダ寄りなせいか、パラメータ色々弄ってみても絵が飛び気味でコントラスト低い感じになってしまってこれも要調査だな、という事で見送り。

　あと、作業終わる頃に、あ、被写界深度表現入れれば良かった…とは思ったのですが、各カットでピントの調整とかしないといけないので、これも始めるとまた膨大に時間が延びそうだったので今回は見送りました。

　これらは後程、個別に実験して本サイトの記事ネタに出来たらなーとか考えてます。

新キャラ「ヴェロ」

　そういえば、この動画作成にあたって新規のキャラクターを起こしました。例によってVRoid Studioで作成しています。時短すばらしい。衣装に関してはパピフォンとある程度の統一感を出したかった為、パピフォンの衣装からゲーミング要素を取り払い、スタンダード寄りのデザインに差し替えました。

　いつも通りVRoid Hubには上げてありますので、良かったら連携ソフトから呼び出してみて下さい。

VRoid Hubのヴェロのページ

　こちらはVOICEPEAKによるトークも出来るようにこの後準備しようかと思っています。

次なに作ろうか

　折角環境も整ったし、次の曲打ち込みたいナーとは思うのですが、何にしようかなと。Aldious好きなんですけど、打ち込みでメタルとか鬼門っぽいですしね…もう少しポップス寄りの方が良いのかなーと色々思案中。

　いずれにしても次はSynthesizer Vを一気に最新版まで更新して、新しいエンジン試したいのと無償提供となった歌唱データベース「Mai AI」を試してみたいなと思ってます。

　音源の方は年末のセールでギター音源「Ample Guitar LP3」とドラム音源「BFD3」を追加してみたので、この辺も少し学習してから入れて行きたいなと考えてます。

　動画は・・・やっぱポーズのカットぐらいにしておかないと莫大な時間がかかるな、とは思ってます。モーションは買うにしてもお手頃価格ばかりでもないですしね…(^^; 最近、ソニーのmocopiを導入したので簡単なアニメーションなら自作してやり過ごせないかな、とも思うのですがあれはあれで作業大変そうですしねぇ…悩ましい。

前回の話の通り、VRoid Studioから出力したVRMファイルをBlenderに持っていき、そこでメッシュの追加やマテリアルの調整などを行うことでボステリ店長のモデル自体は出来ました。…が、そのモデルをBlenderから再度VRMファイルで出力し、Recotte Studioに持っていこうとすると、クラッシュが発生して読み込めないという状況にブチ当たりました。

他のツールでは読み込めているVRMである事、VRoid Studioの公式サンプルAちゃんでも一度Blenderを経由すると同様の現象が起きる事、でも公式サイトには全てのVRMの読み込みを保証するものではない、とある事などから、これは仕様なのか不具合なのかの判断も難しいな、という事でこの点については折角サポートIDもあるので、サポートの方に問い合わせてみました。

で、質問は投げておいて、とりあえず現状どうするか色々検討。やはりUnity環境へ読み込んで再度UnityのVRMでエクスポートするのが可能性あるのかなーと。

Unityに読み込んでみる

Unityの環境自体は以前、OpenCVとか触ってみた時に構築したのがあったので、さっそくテスト読み込み用のプロジェクトを用意して環境自体はすぐ準備出来ました。で、VRMを読み込むのに必要な情報を「UniVRMをインストールする」や「vrm-c/UniVRM」を参考に自分の環境にもインポーターやエクスポータ等を含むUniVRMをインストールしました。

これだけ出来てしまえば後は単純で、BlenderからのVRMをシーンにドラッグドロップし（UniVRMで読み込まれる)、アセットに登録されているモデルを再度UniVRMでエクスポートします。

Recotte Studioで動いた！

Unityからエクスポートしたボステリ店長のVRMファイルを恐る恐るRecotte Studioの話者設定に指定すると・・・今度は読み込めました！どこかちょっとフォーマットが違うんでしょうかねぇ…。

折角読み込めたので、早速軽いサンプル動画を作成してみました。

パピフォンの声はCeVIO AI、ボステリ店長の声はVOICEPEAKを割り当てています。２つの合成音声ソフトを同時に使用していますが、割と違和感無く行けましたね。なお、ボステリ店長、もう少しおっさん声で良かったんですけど、VOICEPEAKはイケメン声しか無くて…(汗

何はともあれ、これで自分のアバターを登場させる、対話動画を作る、という目標は一応達成出来ました。

AHSのサポートさんから返答がありました

実はそんなこんなしてるうちにあっという間にRecotte StudioのサポートをしているAHSさんから返事のメールが届いておりました。全文を公開するようなことはしませんが、要点だけ記載しておきますと、

• 現在、VRMの読み込みに関してはVRoid Studioで検証しており、Blenderを含めそれ以外のツールから出力されたVRMに関しては検証確認は出来ていない
• 現状ではVRoid Studio以外のツールで出力したVRMファイルに関しては非対応という仕様

という事でした。まぁ、概ね、ﾃﾞｽﾖﾈｰという所ではありますが、回答して頂いた事でモヤモヤせずに済みますね^^;。 そもそもRecotte Studioの3D話者モデルってMMDの方がベースだと思うので、VRMと両対応している時点で色々大変というのは想像に難しくなく…となれば正式なサポート範囲もそんなに広げられないでしょうし。

ただ、最後に一文ありまして、VRMファイルの提供が出来るなら開発元に要望として転送しますよ、と言って頂けました。なんという神対応…。ここはご厚意に甘えてVRMファイルを提出させて頂きました。この場合は僕の変なデータよりはより一般的なデータの方が良いだろうと思って、VRoid Hubに上がっている公式サンプルAちゃんをBlender通したものを同じ現象が起きるのを確認してから提出させて頂きました。

まぁ、あくまでも1ユーザーの要望なので(*1)まったく実装される確約はありませんが、いつかそのまま読めるようになったらUnity通す必要も無くなってスマートで良いなぁと楽しみにしておこうと思います。

と、いい感じに収まった所で、今回はここまでとしたいと思います。次は何しようかな…。

(*1)…とはいえVRoid HubなんかにもBlender等で編集済みのモデルは多いので同じ要望持ってる人は割といそうな気もしたり…。

※2022/06/21追記 Ver 1.6.0.0で修正された模様です！

Recotte Studioが1.6.0.0にアップデートされました。アップデート項目の中に、

【修正】
・一部VRMファイルを読み込んだ際にクラッシュする不具合を修正

という記述！これは試すしかないと思い、恐る恐る今までクラッシュしていたVRMファイルを投入してみたところ…問題無く読み込めました！ありがとうございます！

折角なのでクラッシュしていたデータ達で一本(^^;

自分のアバターを登場させたいナ

前回まででサイトの看板娘的なキャラクターを作成してRecotteStudioで動画作成してみたりしました。まぁ、VRoid周りのアプリケーションで遊ぶ時とかは可愛い女の子キャラの方が絵的にも映えるしいいなと思うのですが、反面、自分のサイトで自分の行動、意見について動画にまとめる時なんかは、やはり自分のシンボル的なキャラクターがあった方が良いよなぁと思う所がありました。

という訳で、またVRoid Studioで自分のアバターを作ってみる事にしたのですが、どーにもイケメンしか作れない仕様のようでして、まぁ自分に寄せるのもちょっと無理だな、と。どうしようかなぁ…とApple Musicで音楽聴いてると流れてきたのが、MAN WITH A MISSIONの曲「database」。よし、この手で行こう、我が家には幸いモチーフもいるｗとなりました。

以前、習作でサクラバクシンオーを作成した事があるのですが、この時、尻尾とリボンはVRoid Studioではどうにも表現出来ない範囲だったので、この部分だけBlenderで調整しなおした事があります。

この時は元々VRoidSudioの持っていたリボンパーツの移動とサイズ調整、尻尾はVroidStudio上の髪の毛として一旦作成したボーンとメッシュを腰骨の方に移動、ウェイト微調整みたいな事をやっただけなので、新規のメッシュの追加等は行っていません。

今回はメッシュを追加するのでその辺が各ツールで上手く動作するものか分からなかったので、実験も兼ねて作業を始めてみました。

ZBrushで被り物を作る

上手く最後まで作業パスが通るかどうかも良く分からない所だったので、今回の方針は兎に角「ちゃちゃっとワークフローを通してみる」でした。なのでクオリティに関しては後で調整すればいいやのノリなのでクオリティアップのテクニックとか求められてる方はごめんなさいです…。

さて、今回は”時短の為に”ZBrushを使ってみました。Blender等でポリゴンをパキパキ割りながら作っても良かったのかも知れませんが、ブラシでサーっと作って解像度落とす方が速いかもな、という思い付きもあったもので…。

ひとまず、我が家の愛犬(ボストン・テリア)を参考にサクサクっと頭部だけZBrushでモデリングしてみました。眼球は一応後のことを考えて別で作ります。作り方の好みが色々あると思いますが、今回はダイナメッシュを使う事で、ここもあまり深く考えずザクザク描き込みです。

当然、何も考えずにダイナメッシュを使っているので、この頭部だけで25万ポリゴン超あったりします。さすがにこれをそのまま最終アプリにまで持って行くのは重過ぎるので、ここでは複製を取ってからジオメトリ＞Zリメッシャーを使って1万ポリゴン程度にまで一気に落としたメッシュを用意しています。

ポリゴン削減にはもう一つ意味があって、この後段のSubstance Painterがあまり多いポリゴン数を持って行くと重くなるなどトラブルの元になる事が多いそうで、予防的措置でもあります。

UVの方はZBrushの方でZプラグイン＞UVマスターを使用してこちらもほぼお任せで作成しました。（…が、後々ここはもう少し要調整だな、という事が分かりました^^;)

ある程度形状が出来た所でZプラグイン＞FBXインポートエクスポートで.fbxファイルとしてエクスポートしておきます。

Substance Painterで着色

FBXで出力したボステリ頭に色を塗ります。いつもだとUVガイド見ながらAffinity Designerで作成するのですが、これもSubstance Painterで作成した方が時短になるだろうかという事で使ってみています。ハイポリモデルもあるのでそのうち別の遊び方も出来るかもな、というのもあります。

うーん…。UV適当に作ったせいで顔周辺の解像度が足りないですな…。まぁ、モタモタすると即死亡または解放できないよとどこぞの神がおっしゃってたので、ここではとりあえずそのまま作業続行。

そもそも、最終的にはVRoid Studio連携アプリ等へ持って行く予定なので、トゥーンシェーディングなんですよね。なもんで、使うのはカラーマップぐらいかなぁ…という所でしょうか。ここでもあまり深く考えず着色だけしたら各テクスチャを単体テクスチャとしてエクスポートしておきました。

Vroid Studioで本体を作る

まぁ、ここに関してはいつも通りというか、通常のVRoid Studioの作り方で。

ボストン・テリアモチーフなので黒ベスト＋白いシャツでカラーリングを寄せて、今回は自分のアバターという事もあり、普段愛用しているタミヤのエプロンのような何か(^^;を重ね着機能で作成してみました。

頭は被り物を被っちゃうので、髪が飛び出さないように坊主頭を選択。極端な話、顔のメッシュもいらないのですが、なんとなく無けりゃ無いで表情まわりのモーフとかでトラブりそうな気もしたので今の所そのままにしてあります。

で、VRMで出力しておきます。

Blenderに読み込む

ここまで出来た所で一応リソースとしては揃いましたので、今度はBlender上でこれらを読み込んで行きます。

Blenderには比較的標準的に皆さん使われている「VRM_Addon_for_Blender」をインストールしてあります。これのインポート機能により、VRoid Studioから出力したVRMを読み込みます。

今のBlenderだとFBXは標準で読み込み機能を持っているようなので、続けてボステリ頭のFBXファイルを読み込みます。ボディ側とスケール感とか全然違うと思うので、この辺は読み込んだ後に調整しました。

ZBrushからFBXでやってきたボステリ頭は当然、マテリアル周りはボディと全然合わないので、この辺は要修正です。基本的にはボディ側のパラメータ設定を見つつ、同じような構成にしていけば良いかと思います。シェーダ関連はボディ側が「MToon_unversioned」になっていたので、ボステリ頭側もそれに併せました。それと同時に、Substance Painterで作成したカラーテクスチャをMain TextureとShade Textureで刺しておきます。

目玉はBlender側の球モデルで適当に作成しました。シームを水平方向に切ってUV展開しなおしてというあくまでも簡易的な感じですが。

で、最後にボステリ頭モデルをAmature配下に入れてHeadあたりにウェイト振って、キャラとして動かせるような感じにはなりました。

これを再度VRM Addon for Blenderにより、VRMファイルにエクスポートしてひとますの完成です。テストがてら、このキャラをLuppetに突っ込んでみました。セリフは先日購入したVoicepeakの男声を使用して喋らせたものを、Luppetの音声入力に入れています。

一応、Luppetでは普通に動いているので、いつもの。 pic.twitter.com/Jsi3PxmU1w

— 荻窪 流 (@Nagareo) May 15, 2022

UVの関係で解像度低かったり若干色味が頭だけ暗い感じもありますが、これは今後データの方を直していこうかと思います。取り敢えず動作に関しては期待した通り動いているかな、と。

看板娘とボステリ店長の感動の対面の道は険しかった

よし、これで看板娘キャラであるパピフォンとボステリ店長との掛け合い動画が作れるぞ、という事で早速ボステリ店長のVRMをRecotte Studioの話者選択画面から読み込み～！

・・・ですよね、人生そんなに甘くないですよね。まぁ、トントン拍子で進んだ時に限ってメインの舞台ですっ転ぶもんですよね…。

とりあえず、例外が発生しているようで何度読み込んでもクラッシュになってしまいました。まぁ、僕の作った適当なデータだからどこか直さんといかんのかな～と思って色々検証してみたのですが、実は手持ちの他のVRM対応ツールでは全て正常に読み込めてしまっていたり、VRoid Studioの公式サンプルAちゃんのVRMをダウンロードして、Blenderに読み込み＞再出力するだけでもやはり同様の現象が起きてしまっています。

実の所、Recotte Studioのサイトには「全てのモデルデータの読み込みを保証するものではありません」という注意書きがありまして、たぶんこういう辺りはある程度わかってはいるんだろうな、という気もします。

で、次回に続く

・・・という訳でこの辺で躓いて、色々試していたのですが、結論から言ってしまえば、一応目標は達成出来ました。また、Recotte Studioのサポートさんの方にも問い合わせさせて頂いて、現状のお話とかちょっと伺ってみたりしました。今回は長くなってしまったので次の記事でその辺の話を記述出来れば、と思います。話が途中な感じがすごい有るのでなるべく早めに…。

去年の暮れぐらいにVroidを触り始めてから、あれもやりたいこれもやりたいで久々にツールの導入ラッシュになってたりする今日この頃。ツールも安い物ばかりでは無いので他の出費は押さえたい所ですが、まぁ、おおよそ起こるのが、ツールは導入したもののさてどうすればいいんだっけ？みたいな。

最近はWebを検索すれば欲しい情報はすぐ出てくる事も多いですが、やはりピンポイントな情報が多いですよね。ツール導入直後から手取り足取り教えてくれるサイトなんかは、有名なツールだと見つけられたりしますが、比較的マイナーなツールだったりすると中々そこまでは無い事が多いです。

そうなってくると頼りになるのはやはり技術書だったりします。マイナーなツールでも1冊は日本語版の本が出てたりするものです。

僕もだいたいツール買うと結局１冊は本買うことが多かったんですが、おおよそ予算はツールの分しか考えてなくて、いざ本を購入となると懐に想定外のダメージが行くわけです(^^;

で、昨年暮れからのツール導入ラッシュだったんですが、やはり本を探してるうちに一つ気付きました。

元々、電子書籍の雑誌を読むのが好きでAmazonのKindle Unlimitedに加入してたんですよね。ゲームや写真関連の雑誌眺めたり、ラジコンマガジンも読めたりで、月額９８０円なんかあっという間に元取れてしまうので。

で、技術書を探してるときにKindle Unlimitedに対応してる本はその表示がされるのですが、最近妙にツール系の技術書で対応してるものが増えた気がします。

超売れ筋なんかは当然Kindle Unlimited化されない事が多いので、まぁ必要に応じて別途購入かな、とは思いますが、とりあえずツールのざっくりとした使い方を学ぶ場合や、購入するツールをどれにするか迷っている時は先に本で操作系とか確認してみて自分に合っているかをより細かくチェックする事なんて使い方が可能です。

自分がここの所でお世話になったKindle Unlimited対応本といいますと、まずはAffinity Designerの本。Affinity Designer自体は凄く良いツールだと思うのですが、日本語の情報はライバルのAdobe Illustratorに比べるとまだまだ少ない状態。

取っ掛かりには充分な情報量でした。基本的にはVroidモデルのテクスチャを非破壊的に描くのに使用するつもりだったので、最初の方のピクセル写真の加工とかはすっ飛ばして、ベクター描画機能であるデザイナーペルソナ辺りから読んだりと、使用に応じてつまみ読みしてます。こういう部分的でも必要な情報を気軽に探してこれるというのはサブスクリプション型のKindle Unlimitedの利点ではあります。本屋でうーん、ここの少しの部分だけ情報欲しいけど、この金額かぁ…ってなった事ありません？(^^;

Affinity Designerに関しては他にもWebデザイン向けの本なんかもKindle Unlimited対応したものがありました。いずれはそっちも読んでみようかな…。

キャラモデルがある程度出来た所で音声合成ソフトで喋らせてみよう！となったんですが、情報量も少なく恐る恐る導入したのがRecotte Studio。Amazonのソフトのレビューなんかも古いものと新しいものが混じってて今はどうなのかな、情報とか余り無いのかな、と心配だったんですが、こちらもKindle Unlimited対応で以下のような本を見つけました。

こんなニッチなソフト(失礼)の解説本、しっかりあるんですね…驚きです。

映像編集ソフトとしては過去にVEGASを弄っていたので、タイムラインやトランジション辺りについては理解していたのですが、Recotte Studioはいわゆる「ゆっくり動画」の作成に特化したアプリケーションで、３Dのモデルや効果をオーバーレイして表示したり、更には音声合成ソフトであるCeVIO AIトークやVOICEPEAKと連携する必要があったりと、ちょっと特殊な操作も多く、この本で操作を学んだものも多かったです。

これは趣味にも仕事にも使ってるPhotoshopでスクリプトを組む時に使う本で、もはやバイブル的な存在ですね。多数の画像とかをちょっと凝った処理とかしたい時にスクリプト組んじゃう時に、あれなんだっけ…とこの本を開く事多いです。実は紙版も持っているのですが仕事場に置きっぱなしなので、家で見たい時はKindle Unlimitedで…という使い方をしています。

昔MIDI関連を少しかじってたのもあって、音声合成弄ってると歌声合成もそのうち使ってみたいなー、そうしたらDAWは何がいいのかなーと頭を過りましたが、そんな時もサクサクっとKindle Unlimitedで当該ソフトの本を斜め読みしてみて雰囲気を得て遊んでみたりもしてました(^^;

このCubase本とStudio One本はそれぞれバージョンがひとつ前なのですが、そこまで大きく変わる訳でも無いですし、著者も同じ藤本健さんなのでブレも余り無いかな、という所です。

僕が最近お世話になった本はこんな感じでしょうか。たぶん、探せば他にももっといっぱい出てくると思います。ゲーム実況の本とかも見掛けましたし、イラスト系では定番のCLIP STUDIO PAINT PROの公式ガイドブックや、絵の描き方自体の解説本なんかもたくさんKindle Unlimited対応していました。

僕はピクセル絵はほぼやらないので恩恵にあずかれないのですが(^^;、イラスト系の本は結構数があったので需要は大きいんでしょうね。

ゴールデンウィークもそろそろ見えてきましたし、休みの時間を利用してKindle Unlimitedで新しいツールや手法を覚えてみるのも良いのかなーと思った次第でした。僕はどうしようかな…。

※この記事のAmazonへのリンクが全てアフィリエイトになってる事はお伝えしておきます。お金がどうのというより、商品画像付きリンク作るのが楽なんですよね…。

キャラの追加を考える

CeVIO AIにより無事、声を得た看板娘ですが、こちらのサイトで扱うネタに関連した軽い動画を作成する場合、やはり掛け合い形式とかの方が分かりやすい、話の進展が早いかなと思う所があります。その辺から、長い目ではもう二人ぐらいキャラを増やしたいなと思っています。

ただ、音声については今手持ちのボイスライブラリはCeVIO AIの小春六花１つだけです。ここに追加するにしても、現状のCeVIO AIのラインナップだとキャピっとした女性の声がずらり並ぶ感じです(※1)。先日のAHSさんの生放送見てた限りの話だと、やはり男性の声なんかはあまり数が出ない…という現実的なハードルがあるそうで、まぁこれは致し方ない所かなぁとは思うのですが、キャラのバリエーション揃えたいと考えるといわゆる売れ筋以外の声も欲しい所です。

当初、朧気に男性キャラ一人、クール系の女性キャラ一人追加したいなと思っていたので、まぁ年内にモデル作って、出来た頃には合いそうなボイスライブラリ出てればいいなーぐらいに考えていました。

…と、長いスパンで考えていたはずなのですが、ここに来て歌声合成のSynthesizer Vで有名なDreamtonicsから音声合成のVOICEPEAKが発表され、先週発売となりました。

発表直後、体験版も弄ってみていたのですがとにかく音質が良く、声にノイズが乗ったりハウる感じとかもほぼ無くかなり自然でした。入力した文字列からのイントネーションの初期割り当てもかなり優秀で、長文入れてもあまり修正を必要とする場面は多くなかったです。

まぁ、将来的にこれを導入出来れば…ぐらいに思って、そっとブラウザを閉じかけていたんですが、やはり商売上手ですよね、4/30までで銘打って公式側で初回限定34%オフのキャンペーンが展開されており、更にダウンロード版ならDLsite.comさんで購入することで各種クーポンの適用が可能になり、結果13000円前後で購入できる状態です。(ちなみにキャンペーン期間外のダウンロード版通常価格は23800円)

■VOICEPEAK 商用可能 6ナレーターセット ダウンロード版/AH-Software 34%OFF 4/30 23時59分まで

6ナレーターセットという名称ながら7人分のボイスライブラリとエディタが入っていてこの価格…(汗。しかもサンプル聴く限り、カッコイイ寄りの男性の声やクールな感じの女性の声もある。4/30までの特価で買うのなら今買っても変わらないか…という事で思わずポチっとしてしまいました…。

嬉しい誤算、Recotte Studioの対応

事前に試用版を触っていたので、導入してもいくつかの問題があるのは認識していました。そもそも先の通り、CeVIO AIとRecotte Studioで環境を作ってしまっていたので、連携機能の無いVOICEPEAKではエディタから素でwavファイルとセリフのtxtファイルを出力してRecotte Studio側に手動で持ってくる必要があるので少々手間だなぁ、と。

・・・と、思っていたのですがVOICEPEAKの発売日にAHSさんの方からRecotte StudioのVOICEPEAK対応のアナウンスがありました。完璧すぎる…。

その日の夜にはリリースされて早速試してみた所、むしろCeVIO AIの連携機能では不可能なRecotte Studio連携側でのイントネーション等の調整まで出来るようになってたりして申し分ない出来。さっそくこれで何か作ってみるか、という事で取り敢えず最初にCeVIO AI連携とVOICEPEAK連携を両方使って違いを確認しながら動画を一本作ってみる事にしました。

VOICEPEAK と CeVIO AI を喋らせてみた！

あーだこーだやって出来たのがこれ。連携機能のUIについては先の通りの違いがあるのですが、実際にボイスライブラリを使って喋らせてみると音質的にはVOICEPEAKの方が破綻は少ないかなと感じるものの、怒りや哀しみの最大表現は今の所CeVIO AIの方が高いかなとも思いました。パピフォンで使用させて頂いている小春六花のボイスライブラリによる所が大きいのかもですが、怒りのキレ具合とか哀しみのヨレヨレ具合とか素晴らしいです。

VOICEPEAKの方はナレーターパックという事もあってか、怒り100％でもそこまでキレる感じではないみたいです。まぁ、ナレーターがキレたら放送事故ですしね…。この辺はボイスライブラリに寄る所も大きそうなので、今後VOICEPEAK向けの個別キャラが発売されるような流れがあれば、そちらはまた違う答えになるのかも知れません。

また、結構滅茶苦茶なパラメータ振っても音声がキレイな事に便乗して、目一杯ピッチ下げて怒り100%で喋らせるとクールなキャラが怒りを秘めている、みたいな表現になってこれはこれで面白い使い方が出来そうだな、と感じました(上記の動画の中でも少し試しています)。

この辺の感触から、キレ芸もやらせたいパピフォンはやはりCeVIO AIで続投、今後用意したい男性とクール系の女性はVOICEPEAKで行けるな、という結論に個人的には至っています。

いや、でも、CeVIO AIにしてもVOICEPEAKにしてもホントここ最近急激に人に近く自然になりましたよね。個人製作とかする人には様々なメリットをもたらしてくれそうです。自分も色々作ってみたいなぁと思います。

(※1)…最近、CeVIO CSの方にいたタカハシがAI化されるという噂はチラホラあるようです(真偽不明)。

前回、Luppetを用いたVRMモデルを喋らせる動画を作成したのですが、これはこれで動きがリアルで良いものの、あれこれ機材準備が必要だったり、動きは自分で収録しなければならなかったりで何かと面倒が多いのも確かでした。

あそこまでのクオリティはいらないので、もっと手軽に作れる方法内のかなーと思って色々探してみた所、いわゆる"ゆっくり動画"を作成するツールが結構見つかりました。で、更にVroid Studioから出力したVRMファイルで作成出来る奴無いのかな…って思ったら、有りました、しかも公式(^^;

それがAHSが販売するRecotte Studioなのですが、そういえばCeVIO AIのパッケージにも体験版入ってた気がする…。AmazonやWeb検索でのレビューを見ると評判微妙かなーという印象を受けたのですが、まぁ体験版もある事だし、自分の眼で確かめてみるかなと思いインストール。

体験版なので作れる動画は3分までという制限はありますが、機能はおおよそ使えるので、先日開催されたNEOKET2に参加した時にキャプチャーしていた動画を題材にナレーション(?)をつけてみました。

一通り触ってみて最後に動画をレンダリングするまでにクラッシュがちょっとだけありましたが、定期的に自動保存されているので実害は結局無かった感じでした。操作に関してもおおよそ想像出来る範囲内で、自分にはとっつきは良かったかな、と思います。（字幕の任意位置での改行だけは最後まで分からなかった…＞プレビュー画面側のテキストオブジェクト内で改行）

RecotteStudioの何が素晴らしいって、VRMファイル標準で読み込んでこれるんですよね。Vroid Studioから出してそのまま。ちゃんと揺れ物の計算とかもやってくれるので髪なんかもキレイに揺れます。トラック形式でモーションも配置出来て、配置ちょっと重ねてやるとモーションの移行もスムーズにしてくれたりします。

VRM関連以外の普通の動画作成機能としても、さすがにVEGASとかに比べるとシンプルですけど必要最低限揃ってるし、トランジションなんかもよく見かけるタイプのフィルタは揃ってるので、普通に作る分にはあまり問題も無いかな、と。僕はまだ使ってませんが、擬音オブジェクトを入れる機能なんかもあるので、まさにYouTube向けの軽い動画なんかには合いそうな気がします。

一本作ってみた所で、安定性も聞くほどに悪くないし、VRMモデル扱うにはもうこれ以上は無いかな、という所で正式版の導入に踏み切りました。評価悪いのが目立ったのって2D話者を使う所の話が多く、人によって(用途によって)合う合わないが大きいアプリケーションなのかなと思います。

今だと4月30日までDLsiteでセールやっていて普通に買うより安く手に入れられるようです。

■Recotte Studio/AH-Software 25%OFF 4/30 23時59分まで

以上、RecotteStudio導入したよ、聞くほど悪くなかったよーというお話でした。実は既にこれに関連する話がもう一つありまして・・・それはまた次回に。

ひとまず、パピフォンはVRoid hubでの公開に漕ぎつけたし、コンテストとか関係無い割にはいいねも結構頂いていたりして、一段落といった感じでした。

VRoid Hubのおかげで対応アプリケーションの中で暴れまわれるし、色々試してみたい所なんですが、その前にもう少しだけキャラクターとして生きてる感じを固めたいなぁ…と思ったりしました。

以前、Microsoft Teams上での会議に、Luppetというバストショット特化型のトラッキングシステムを使って、いわゆるVTuber的に参加した事があるのですが、これのセットアップをちょっと細工したら簡単に動画作れないかな、と。

・・・で、間すっ飛ばして結論から先に言っちゃうとこんな感じになりました。

音声合成ソフト選んで導入してみました。この顛末が中々調べてて楽しかったのでその話でも。

そもそも、昨今の音声合成のレベルが凄いことになってるなーというのは愛読している藤本健さんのDTMステーション でうっすら感じていたので、サイト記事いくつか読み漁って最近の状況とかをなんとなく把握しました。じゃ、いざ自分が購入すべき製品は…となって各社の製品サイト見に行くとこれまたややこしい。

情報漁って、今回は音声合成なので候補に挙がったのは、

• VOICEVOX (ヒホ氏作エンジン、無料、要クレジット表記)
• CeVIO AI TALK / CeVIO CS7 (CeVIO製エンジン、AHS販売)
• VOICEROID2 / VOICEROID+ (株式会社エーアイ製エンジン、AHS販売)
• A.I.VOICE (株式会社エーアイ製エンジン、販売もエーアイ)

この辺でしょうか。開発会社と販売会社の組み合わせがあってややこしい…。さらに２つ書いてある奴は左側に書いた奴が新しいエンジンを載せてる製品ですが併売中です。普通なら新しいものに入れ替わる所なんでしょうが、これらの製品の特別な理由として、それぞれの製品にキャラ付けがあって古い方にしかないキャラがいたりとか、その辺の絡みもありそうです。

ここで、将来は歌声合成も使えたらいいかもなーとか思ってしまったりすると(僕ですが)、さらにややこしくなります。歌声合成の方も

• CeVIO AI SONG
• Synthesizer V (DREAMTONICS製エンジン、AHS販売)
• VOCALOID4 (YAMAHA製エンジン、AHSやクリプトン販売)

…などなどこれ以外にも色々あるとは思います。もう脳メモリいっぱいなのでこの中に絞ったとしても、今度はは一人のキャラでも音声合成と歌声合成で別の会社のエンジン使ってたり、エンジンの世代が違ったり、と声を揃えようと思うとまたややこしい事になってました。

例えば最初色々見ていくうちにぶつかった動画がこちら。

とってもクリアなのにパワフルな声で歌うのはSynthesizer Vエンジンの京町セイカ。歌声としてはとても理想の声だったんですけど、このキャラクターの音声の方を探すと…VOICEROID+EXの製品なんですね。AHSのサイトでサンプル入力で試したり出来るのですが、やはりAI移行前の製品なので若干喋りに起伏が無い…。とか、こんな感じでやはり最後は自分の耳でサンプル聞きまくりながら納得のいく組み合わせを探しました(^^;

購入前に気を付けないといけないのは、各社ライセンス条件が微妙に違ってたり、キャラも使うとなると今度はキャラの版権持っている所のライセンス条件が絡んできたりとこれまた相当ややこしい事です。「商用利用は不可だけどYoutubeの動画の収益はOK」とか「ゲームへの利用はNG」とかとにかく細部にわたって各社条項があるので、ある程度購入対象決まったらしっかり確認してから購入した方がよさそうです。

で、最終的に何を購入したんだ、という話ですが、僕はコレを選びました。

CeVIO AI の「小春六花」スターターキットです。エディタと音声パックがセットになって少しお得な奴ですね。いろいろ見た中ではパピフォンのイメージの声に比較的近かった事、音声が非常に聞き取りやすかった事、喜怒哀楽の表現がはっきり分かりやすかったなどが上がります。使用条件周りも僕の当初の用途だと大丈夫そうです。

さらに言えば、小春六花はCeVIO AI Songでは無いのですがSynthesizer Vの方で歌声合成もありまして、サンプル聞いても非常にクオリティ高いのが分かったので、まぁ、こちらもいつか触れる機会が来ればいいなぁ…程度に気にしておきました(^^;

そんな感じでCeVIO AIを導入してイントネーションとか感情をちゃちゃっと調整して.wavファイルに出してみました。この.wavファイルを僕の場合はVoicemeeter Bananaというアプリケーションに食わせて、Luppet側に出力、Luppet側は口パクする必要があるのでリップシンクを音声ベースに切り替えて入力をマイクではなくBananaからの出力に切り替え、そのLuppetの画面と音声をOBSで録画、みたいな構成で一応一通りの録画が出来ました。

Luppet側はLuppet側で小細工してるのですが、まぁ、その辺の話はまたいずれ…。ただ、録ってみた感じ動きもリアルだし、発音もキレイだしこれはこれで良いなーと思うのですが、いかんせんLuppetのモーションキャプチャーベースなので振り付けは自分で演技する必要があります。動画の中でも変な動きしてるのは僕がキョドってるからなんですよね。

Webカメラの前で変な動きしてる所を娘に見られてパパ何してるの…？と不思議そうな目で見られたり(^^;、音声の続き忘れて動作が遅れたり、とこれはこれで面白いけど、毎回やるのもしんどいかもなぁ・・・と思った所が次の課題となりました。このお話の続きはまた次回にでも。

（最後に余談となりますが、2022/02/24現在、上で上げたものに加えてDREAMTONICS開発、AHS販売の音声合成ソフトVOICEPEAKが発表され、CeVIOからはCeVIOが自ら販売する予定の歌声合成ソフトCeVIO Proが発表されました。うん、戦国時代か。）

最近、Oculus(Meta) Quest2だったりLooking Glass Portraitだったり、弄るにしてもやはりオリジナルのキャラクターモデルが欲しいナぁ…と思う所がありまして、去年の暮れに丁度Vroid Studioの正式版が出たことも有り、キャラクターの方をダラダラと弄ってました。

年末の休み明けてそういえばVroid Hubで衣装コンテストやってたなぁ、折角だからちゃんとコンセプト決めて作ってみようという事で、1月の末の締め切りに向けて作成しました。

コンセプトは折角1月からサイトもリニューアルしたし、電脳茶房という名称の事もあってコンセプトは喫茶店のウェイトレス風がいいかな…と思ったのですが、でもVroid Hubには既に完成度高いメイド服っぽいので溢れてるしなぁという感じでした。

サイトは電脳茶房という名称で長いことやってるのでそれにちなんでややSF寄りがいいのかな、メカっぽいのはVroid Studioのシェーダ的に厳しそうかな、んじゃせめてインジケータ系だけでも…なんかうちのゲーミングPCみたいだな…等と目的や手法を組み合わせていくうちにおおよそのコンセプトが決まりました。

コンセプト決まってしまえば衣装ガリゴリと作りこみ。Vroid Studioだけでもテクスチャのペインティング機能があるので、手軽に書き込みたい人にはこちらで取り敢えず何か描いてみるのがいいのかな、と思います。ある程度、正確な書き込みを行いたい人はVroid Studioからガイド(ポリゴンのラインが描かれた画像)をエクスポートして、それをPhotoshopなどに持ち込み下絵にしてそちら側で塗っていくのが一般的な作業でしょうか。

今回、僕の方ではPhotoshopでは無く、Affinity Designerというベクター系のイラストツールで作成する事にしました。元より、使い方覚えたかったので良い機会かなという事、比較的色のコントラストがはっきりしているアニメっぽい塗りならベクター系でも行けるかな？という甘い予測(^^;)、何よりベクターデータなので一度描いた後の色やサイズの変更がとてもしやすい事などから、今回はAffinty Designerだけで完結する事も目標の一つとしました。まぁ、こちらの細かい話についてはまた機会があれば書いてみようかな…と思います。

期間にして2週間ぐらいでしょうか、就寝前の少しの時間とかでやってたのであまり時間は取れませんでしたが、Affinity Designerのおかげで、初めに大きくデザインを決めて、後から時間の許す範囲で詳細を詰めたりバランスを調整したりといった作り方が出来ました。

で、1月末にある程度まとめまして、Vroid Hubの衣装コンテストはVroid Studio付属のサンプルA～Cのキャラに適用する必要があったので、今回は派手な衣装に合いそうなサンプルBちゃんを選択して、そちらへの微調整を行いました。

という事でまずサンプルBちゃんが完成。

サンプルBちゃん、おかげさまで既に100件以上のいいね頂いております、ありがとうございます。周りにはテクニックを駆使した衣装がひしめく中なので、コンセプト…というかネタが評価されたんですかね…(^^; 以下からVroid Hubのページへ飛べます。

サンプルモデルB / ゲーミングメイド by 荻窪 流

で、当サイトで今後使用していくマスコットとして、去年からぼちぼち作っていたオリジナルキャラ「パピフォン」にもこの衣装を着用。著作権的に問題の無いオリジナルなので、今後いろいろな所で働いてもらおうと思っています。

作ってるうちに髪が犬のパピヨンみたいだなー＋持っているギターのエピフォンから、「パピフォン」と命名しました。まぁ、マスコットなんて多少目立つ名前の方がいい、面倒ならパピ子でいいやという感じで…(横暴)。

パピフォンもたった今、世に放ちました。

パピフォン / ゲーミングメイド Ver by 荻窪 流

こちらはVRAST!などの格闘ゲームでの利用等も可能な設定にしておきましたので、よろしかったらご利用いただければ。

そんなこんなで、サンプルBちゃんはここまでとなりますが、パピフォンは今後いろいろな所で登場してもらおうかな、と考えています。お見知り置き頂ければ幸いです。

ヨロシク！