VRM

前回の話の通り、VRoid Studioから出力したVRMファイルをBlenderに持っていき、そこでメッシュの追加やマテリアルの調整などを行うことでボステリ店長のモデル自体は出来ました。…が、そのモデルをBlenderから再度VRMファイルで出力し、Recotte Studioに持っていこうとすると、クラッシュが発生して読み込めないという状況にブチ当たりました。

他のツールでは読み込めているVRMである事、VRoid Studioの公式サンプルAちゃんでも一度Blenderを経由すると同様の現象が起きる事、でも公式サイトには全てのVRMの読み込みを保証するものではない、とある事などから、これは仕様なのか不具合なのかの判断も難しいな、という事でこの点については折角サポートIDもあるので、サポートの方に問い合わせてみました。

で、質問は投げておいて、とりあえず現状どうするか色々検討。やはりUnity環境へ読み込んで再度UnityのVRMでエクスポートするのが可能性あるのかなーと。

Unityに読み込んでみる

Unityの環境自体は以前、OpenCVとか触ってみた時に構築したのがあったので、さっそくテスト読み込み用のプロジェクトを用意して環境自体はすぐ準備出来ました。で、VRMを読み込むのに必要な情報を「UniVRMをインストールする」や「vrm-c/UniVRM」を参考に自分の環境にもインポーターやエクスポータ等を含むUniVRMをインストールしました。

これだけ出来てしまえば後は単純で、BlenderからのVRMをシーンにドラッグドロップし（UniVRMで読み込まれる)、アセットに登録されているモデルを再度UniVRMでエクスポートします。

Recotte Studioで動いた！

Unityからエクスポートしたボステリ店長のVRMファイルを恐る恐るRecotte Studioの話者設定に指定すると・・・今度は読み込めました！どこかちょっとフォーマットが違うんでしょうかねぇ…。

折角読み込めたので、早速軽いサンプル動画を作成してみました。

パピフォンの声はCeVIO AI、ボステリ店長の声はVOICEPEAKを割り当てています。２つの合成音声ソフトを同時に使用していますが、割と違和感無く行けましたね。なお、ボステリ店長、もう少しおっさん声で良かったんですけど、VOICEPEAKはイケメン声しか無くて…(汗

何はともあれ、これで自分のアバターを登場させる、対話動画を作る、という目標は一応達成出来ました。

AHSのサポートさんから返答がありました

実はそんなこんなしてるうちにあっという間にRecotte StudioのサポートをしているAHSさんから返事のメールが届いておりました。全文を公開するようなことはしませんが、要点だけ記載しておきますと、

• 現在、VRMの読み込みに関してはVRoid Studioで検証しており、Blenderを含めそれ以外のツールから出力されたVRMに関しては検証確認は出来ていない
• 現状ではVRoid Studio以外のツールで出力したVRMファイルに関しては非対応という仕様

という事でした。まぁ、概ね、ﾃﾞｽﾖﾈｰという所ではありますが、回答して頂いた事でモヤモヤせずに済みますね^^;。 そもそもRecotte Studioの3D話者モデルってMMDの方がベースだと思うので、VRMと両対応している時点で色々大変というのは想像に難しくなく…となれば正式なサポート範囲もそんなに広げられないでしょうし。

ただ、最後に一文ありまして、VRMファイルの提供が出来るなら開発元に要望として転送しますよ、と言って頂けました。なんという神対応…。ここはご厚意に甘えてVRMファイルを提出させて頂きました。この場合は僕の変なデータよりはより一般的なデータの方が良いだろうと思って、VRoid Hubに上がっている公式サンプルAちゃんをBlender通したものを同じ現象が起きるのを確認してから提出させて頂きました。

まぁ、あくまでも1ユーザーの要望なので(*1)まったく実装される確約はありませんが、いつかそのまま読めるようになったらUnity通す必要も無くなってスマートで良いなぁと楽しみにしておこうと思います。

と、いい感じに収まった所で、今回はここまでとしたいと思います。次は何しようかな…。

(*1)…とはいえVRoid HubなんかにもBlender等で編集済みのモデルは多いので同じ要望持ってる人は割といそうな気もしたり…。

※2022/06/21追記 Ver 1.6.0.0で修正された模様です！

Recotte Studioが1.6.0.0にアップデートされました。アップデート項目の中に、

【修正】
・一部VRMファイルを読み込んだ際にクラッシュする不具合を修正

という記述！これは試すしかないと思い、恐る恐る今までクラッシュしていたVRMファイルを投入してみたところ…問題無く読み込めました！ありがとうございます！

折角なのでクラッシュしていたデータ達で一本(^^;

自分のアバターを登場させたいナ

前回まででサイトの看板娘的なキャラクターを作成してRecotteStudioで動画作成してみたりしました。まぁ、VRoid周りのアプリケーションで遊ぶ時とかは可愛い女の子キャラの方が絵的にも映えるしいいなと思うのですが、反面、自分のサイトで自分の行動、意見について動画にまとめる時なんかは、やはり自分のシンボル的なキャラクターがあった方が良いよなぁと思う所がありました。

という訳で、またVRoid Studioで自分のアバターを作ってみる事にしたのですが、どーにもイケメンしか作れない仕様のようでして、まぁ自分に寄せるのもちょっと無理だな、と。どうしようかなぁ…とApple Musicで音楽聴いてると流れてきたのが、MAN WITH A MISSIONの曲「database」。よし、この手で行こう、我が家には幸いモチーフもいるｗとなりました。

以前、習作でサクラバクシンオーを作成した事があるのですが、この時、尻尾とリボンはVRoid Studioではどうにも表現出来ない範囲だったので、この部分だけBlenderで調整しなおした事があります。

この時は元々VRoidSudioの持っていたリボンパーツの移動とサイズ調整、尻尾はVroidStudio上の髪の毛として一旦作成したボーンとメッシュを腰骨の方に移動、ウェイト微調整みたいな事をやっただけなので、新規のメッシュの追加等は行っていません。

今回はメッシュを追加するのでその辺が各ツールで上手く動作するものか分からなかったので、実験も兼ねて作業を始めてみました。

ZBrushで被り物を作る

上手く最後まで作業パスが通るかどうかも良く分からない所だったので、今回の方針は兎に角「ちゃちゃっとワークフローを通してみる」でした。なのでクオリティに関しては後で調整すればいいやのノリなのでクオリティアップのテクニックとか求められてる方はごめんなさいです…。

さて、今回は”時短の為に”ZBrushを使ってみました。Blender等でポリゴンをパキパキ割りながら作っても良かったのかも知れませんが、ブラシでサーっと作って解像度落とす方が速いかもな、という思い付きもあったもので…。

ひとまず、我が家の愛犬(ボストン・テリア)を参考にサクサクっと頭部だけZBrushでモデリングしてみました。眼球は一応後のことを考えて別で作ります。作り方の好みが色々あると思いますが、今回はダイナメッシュを使う事で、ここもあまり深く考えずザクザク描き込みです。

当然、何も考えずにダイナメッシュを使っているので、この頭部だけで25万ポリゴン超あったりします。さすがにこれをそのまま最終アプリにまで持って行くのは重過ぎるので、ここでは複製を取ってからジオメトリ＞Zリメッシャーを使って1万ポリゴン程度にまで一気に落としたメッシュを用意しています。

ポリゴン削減にはもう一つ意味があって、この後段のSubstance Painterがあまり多いポリゴン数を持って行くと重くなるなどトラブルの元になる事が多いそうで、予防的措置でもあります。

UVの方はZBrushの方でZプラグイン＞UVマスターを使用してこちらもほぼお任せで作成しました。（…が、後々ここはもう少し要調整だな、という事が分かりました^^;)

ある程度形状が出来た所でZプラグイン＞FBXインポートエクスポートで.fbxファイルとしてエクスポートしておきます。

Substance Painterで着色

FBXで出力したボステリ頭に色を塗ります。いつもだとUVガイド見ながらAffinity Designerで作成するのですが、これもSubstance Painterで作成した方が時短になるだろうかという事で使ってみています。ハイポリモデルもあるのでそのうち別の遊び方も出来るかもな、というのもあります。

うーん…。UV適当に作ったせいで顔周辺の解像度が足りないですな…。まぁ、モタモタすると即死亡または解放できないよとどこぞの神がおっしゃってたので、ここではとりあえずそのまま作業続行。

そもそも、最終的にはVRoid Studio連携アプリ等へ持って行く予定なので、トゥーンシェーディングなんですよね。なもんで、使うのはカラーマップぐらいかなぁ…という所でしょうか。ここでもあまり深く考えず着色だけしたら各テクスチャを単体テクスチャとしてエクスポートしておきました。

Vroid Studioで本体を作る

まぁ、ここに関してはいつも通りというか、通常のVRoid Studioの作り方で。

ボストン・テリアモチーフなので黒ベスト＋白いシャツでカラーリングを寄せて、今回は自分のアバターという事もあり、普段愛用しているタミヤのエプロンのような何か(^^;を重ね着機能で作成してみました。

頭は被り物を被っちゃうので、髪が飛び出さないように坊主頭を選択。極端な話、顔のメッシュもいらないのですが、なんとなく無けりゃ無いで表情まわりのモーフとかでトラブりそうな気もしたので今の所そのままにしてあります。

で、VRMで出力しておきます。

Blenderに読み込む

ここまで出来た所で一応リソースとしては揃いましたので、今度はBlender上でこれらを読み込んで行きます。

Blenderには比較的標準的に皆さん使われている「VRM_Addon_for_Blender」をインストールしてあります。これのインポート機能により、VRoid Studioから出力したVRMを読み込みます。

今のBlenderだとFBXは標準で読み込み機能を持っているようなので、続けてボステリ頭のFBXファイルを読み込みます。ボディ側とスケール感とか全然違うと思うので、この辺は読み込んだ後に調整しました。

ZBrushからFBXでやってきたボステリ頭は当然、マテリアル周りはボディと全然合わないので、この辺は要修正です。基本的にはボディ側のパラメータ設定を見つつ、同じような構成にしていけば良いかと思います。シェーダ関連はボディ側が「MToon_unversioned」になっていたので、ボステリ頭側もそれに併せました。それと同時に、Substance Painterで作成したカラーテクスチャをMain TextureとShade Textureで刺しておきます。

目玉はBlender側の球モデルで適当に作成しました。シームを水平方向に切ってUV展開しなおしてというあくまでも簡易的な感じですが。

で、最後にボステリ頭モデルをAmature配下に入れてHeadあたりにウェイト振って、キャラとして動かせるような感じにはなりました。

これを再度VRM Addon for Blenderにより、VRMファイルにエクスポートしてひとますの完成です。テストがてら、このキャラをLuppetに突っ込んでみました。セリフは先日購入したVoicepeakの男声を使用して喋らせたものを、Luppetの音声入力に入れています。

一応、Luppetでは普通に動いているので、いつもの。 pic.twitter.com/Jsi3PxmU1w

— 荻窪 流 (@Nagareo) May 15, 2022

UVの関係で解像度低かったり若干色味が頭だけ暗い感じもありますが、これは今後データの方を直していこうかと思います。取り敢えず動作に関しては期待した通り動いているかな、と。

看板娘とボステリ店長の感動の対面の道は険しかった

よし、これで看板娘キャラであるパピフォンとボステリ店長との掛け合い動画が作れるぞ、という事で早速ボステリ店長のVRMをRecotte Studioの話者選択画面から読み込み～！

・・・ですよね、人生そんなに甘くないですよね。まぁ、トントン拍子で進んだ時に限ってメインの舞台ですっ転ぶもんですよね…。

とりあえず、例外が発生しているようで何度読み込んでもクラッシュになってしまいました。まぁ、僕の作った適当なデータだからどこか直さんといかんのかな～と思って色々検証してみたのですが、実は手持ちの他のVRM対応ツールでは全て正常に読み込めてしまっていたり、VRoid Studioの公式サンプルAちゃんのVRMをダウンロードして、Blenderに読み込み＞再出力するだけでもやはり同様の現象が起きてしまっています。

実の所、Recotte Studioのサイトには「全てのモデルデータの読み込みを保証するものではありません」という注意書きがありまして、たぶんこういう辺りはある程度わかってはいるんだろうな、という気もします。

で、次回に続く

・・・という訳でこの辺で躓いて、色々試していたのですが、結論から言ってしまえば、一応目標は達成出来ました。また、Recotte Studioのサポートさんの方にも問い合わせさせて頂いて、現状のお話とかちょっと伺ってみたりしました。今回は長くなってしまったので次の記事でその辺の話を記述出来れば、と思います。話が途中な感じがすごい有るのでなるべく早めに…。

キャラの追加を考える

CeVIO AIにより無事、声を得た看板娘ですが、こちらのサイトで扱うネタに関連した軽い動画を作成する場合、やはり掛け合い形式とかの方が分かりやすい、話の進展が早いかなと思う所があります。その辺から、長い目ではもう二人ぐらいキャラを増やしたいなと思っています。

ただ、音声については今手持ちのボイスライブラリはCeVIO AIの小春六花１つだけです。ここに追加するにしても、現状のCeVIO AIのラインナップだとキャピっとした女性の声がずらり並ぶ感じです(※1)。先日のAHSさんの生放送見てた限りの話だと、やはり男性の声なんかはあまり数が出ない…という現実的なハードルがあるそうで、まぁこれは致し方ない所かなぁとは思うのですが、キャラのバリエーション揃えたいと考えるといわゆる売れ筋以外の声も欲しい所です。

当初、朧気に男性キャラ一人、クール系の女性キャラ一人追加したいなと思っていたので、まぁ年内にモデル作って、出来た頃には合いそうなボイスライブラリ出てればいいなーぐらいに考えていました。

…と、長いスパンで考えていたはずなのですが、ここに来て歌声合成のSynthesizer Vで有名なDreamtonicsから音声合成のVOICEPEAKが発表され、先週発売となりました。

発表直後、体験版も弄ってみていたのですがとにかく音質が良く、声にノイズが乗ったりハウる感じとかもほぼ無くかなり自然でした。入力した文字列からのイントネーションの初期割り当てもかなり優秀で、長文入れてもあまり修正を必要とする場面は多くなかったです。

まぁ、将来的にこれを導入出来れば…ぐらいに思って、そっとブラウザを閉じかけていたんですが、やはり商売上手ですよね、4/30までで銘打って公式側で初回限定34%オフのキャンペーンが展開されており、更にダウンロード版ならDLsite.comさんで購入することで各種クーポンの適用が可能になり、結果13000円前後で購入できる状態です。(ちなみにキャンペーン期間外のダウンロード版通常価格は23800円)

■VOICEPEAK 商用可能 6ナレーターセット ダウンロード版/AH-Software 34%OFF 4/30 23時59分まで

6ナレーターセットという名称ながら7人分のボイスライブラリとエディタが入っていてこの価格…(汗。しかもサンプル聴く限り、カッコイイ寄りの男性の声やクールな感じの女性の声もある。4/30までの特価で買うのなら今買っても変わらないか…という事で思わずポチっとしてしまいました…。

嬉しい誤算、Recotte Studioの対応

事前に試用版を触っていたので、導入してもいくつかの問題があるのは認識していました。そもそも先の通り、CeVIO AIとRecotte Studioで環境を作ってしまっていたので、連携機能の無いVOICEPEAKではエディタから素でwavファイルとセリフのtxtファイルを出力してRecotte Studio側に手動で持ってくる必要があるので少々手間だなぁ、と。

・・・と、思っていたのですがVOICEPEAKの発売日にAHSさんの方からRecotte StudioのVOICEPEAK対応のアナウンスがありました。完璧すぎる…。

その日の夜にはリリースされて早速試してみた所、むしろCeVIO AIの連携機能では不可能なRecotte Studio連携側でのイントネーション等の調整まで出来るようになってたりして申し分ない出来。さっそくこれで何か作ってみるか、という事で取り敢えず最初にCeVIO AI連携とVOICEPEAK連携を両方使って違いを確認しながら動画を一本作ってみる事にしました。

VOICEPEAK と CeVIO AI を喋らせてみた！

あーだこーだやって出来たのがこれ。連携機能のUIについては先の通りの違いがあるのですが、実際にボイスライブラリを使って喋らせてみると音質的にはVOICEPEAKの方が破綻は少ないかなと感じるものの、怒りや哀しみの最大表現は今の所CeVIO AIの方が高いかなとも思いました。パピフォンで使用させて頂いている小春六花のボイスライブラリによる所が大きいのかもですが、怒りのキレ具合とか哀しみのヨレヨレ具合とか素晴らしいです。

VOICEPEAKの方はナレーターパックという事もあってか、怒り100％でもそこまでキレる感じではないみたいです。まぁ、ナレーターがキレたら放送事故ですしね…。この辺はボイスライブラリに寄る所も大きそうなので、今後VOICEPEAK向けの個別キャラが発売されるような流れがあれば、そちらはまた違う答えになるのかも知れません。

また、結構滅茶苦茶なパラメータ振っても音声がキレイな事に便乗して、目一杯ピッチ下げて怒り100%で喋らせるとクールなキャラが怒りを秘めている、みたいな表現になってこれはこれで面白い使い方が出来そうだな、と感じました(上記の動画の中でも少し試しています)。

この辺の感触から、キレ芸もやらせたいパピフォンはやはりCeVIO AIで続投、今後用意したい男性とクール系の女性はVOICEPEAKで行けるな、という結論に個人的には至っています。

いや、でも、CeVIO AIにしてもVOICEPEAKにしてもホントここ最近急激に人に近く自然になりましたよね。個人製作とかする人には様々なメリットをもたらしてくれそうです。自分も色々作ってみたいなぁと思います。

(※1)…最近、CeVIO CSの方にいたタカハシがAI化されるという噂はチラホラあるようです(真偽不明)。

前回、Luppetを用いたVRMモデルを喋らせる動画を作成したのですが、これはこれで動きがリアルで良いものの、あれこれ機材準備が必要だったり、動きは自分で収録しなければならなかったりで何かと面倒が多いのも確かでした。

あそこまでのクオリティはいらないので、もっと手軽に作れる方法内のかなーと思って色々探してみた所、いわゆる"ゆっくり動画"を作成するツールが結構見つかりました。で、更にVroid Studioから出力したVRMファイルで作成出来る奴無いのかな…って思ったら、有りました、しかも公式(^^;

それがAHSが販売するRecotte Studioなのですが、そういえばCeVIO AIのパッケージにも体験版入ってた気がする…。AmazonやWeb検索でのレビューを見ると評判微妙かなーという印象を受けたのですが、まぁ体験版もある事だし、自分の眼で確かめてみるかなと思いインストール。

体験版なので作れる動画は3分までという制限はありますが、機能はおおよそ使えるので、先日開催されたNEOKET2に参加した時にキャプチャーしていた動画を題材にナレーション(?)をつけてみました。

一通り触ってみて最後に動画をレンダリングするまでにクラッシュがちょっとだけありましたが、定期的に自動保存されているので実害は結局無かった感じでした。操作に関してもおおよそ想像出来る範囲内で、自分にはとっつきは良かったかな、と思います。（字幕の任意位置での改行だけは最後まで分からなかった…＞プレビュー画面側のテキストオブジェクト内で改行）

RecotteStudioの何が素晴らしいって、VRMファイル標準で読み込んでこれるんですよね。Vroid Studioから出してそのまま。ちゃんと揺れ物の計算とかもやってくれるので髪なんかもキレイに揺れます。トラック形式でモーションも配置出来て、配置ちょっと重ねてやるとモーションの移行もスムーズにしてくれたりします。

VRM関連以外の普通の動画作成機能としても、さすがにVEGASとかに比べるとシンプルですけど必要最低限揃ってるし、トランジションなんかもよく見かけるタイプのフィルタは揃ってるので、普通に作る分にはあまり問題も無いかな、と。僕はまだ使ってませんが、擬音オブジェクトを入れる機能なんかもあるので、まさにYouTube向けの軽い動画なんかには合いそうな気がします。

一本作ってみた所で、安定性も聞くほどに悪くないし、VRMモデル扱うにはもうこれ以上は無いかな、という所で正式版の導入に踏み切りました。評価悪いのが目立ったのって2D話者を使う所の話が多く、人によって(用途によって)合う合わないが大きいアプリケーションなのかなと思います。

今だと4月30日までDLsiteでセールやっていて普通に買うより安く手に入れられるようです。

■Recotte Studio/AH-Software 25%OFF 4/30 23時59分まで

以上、RecotteStudio導入したよ、聞くほど悪くなかったよーというお話でした。実は既にこれに関連する話がもう一つありまして・・・それはまた次回に。