めあとるーむ日記帳

なんか書く

リアルタイムゆっくり実況プレイがしたい

最近(2018-02-01現在)バーチャルYoutuberなるものが流行ってるそうで

どのキャラもわかりやすくキャラが立っていて様々な面で感心するなどしているのですがやはり思うのですよ

「俺もやりたい!!!!!」

いやまあぶっちゃけやろうと思えば環境的にはすぐにできるでしょって感じなんだけど、せっかくだしちょっと変化球で行きたいなと思いました

そして実況というとどちらかと言うと生身よりゆっくり実況プレイのほうがなんとなく接していた機会が多い気がしてました


ただ単にゆっくり実況プレイをするならプレイ動画にゆっくりMovieMakerあたりを使って合わせればいい

でもせっかくだし「ゆっくり生放送」をやってみたいなと思った。理由は誰もやってないからじゃないかな(やってるかもしれない

あとやっぱり動画編集面倒だからね。生放送そういうとこ楽だし(だからといって何も考えなくていいわけじゃないが

しかし当然ながらゆっくり実況は

  1. まずプレイ動画を撮る
  2. あとからプレイ動画にゆっくり音声をかぶせる
  3. さらに必要ならゆっくりの表情をつける

という処理を行う必要があるわけで、これをリアルタイムに行うのは

  1. リアルタイプにゆっくり音声を作って再生する
  2. ゆっくりの表情をつける

が必要。で、ここで冒頭のバーチャルYoutuberに戻る

要は「表情を読み取って適当なゆっくりの画像を写す」「音声認識して文字書き起こしてゆっくりで喋らせる」ということをカメラ経由でやればいいのでは

でも「表情を読み取る」とかそんな簡単にできるの?

maretol.hatenablog.jp

できそうなのあったわ


というわけで今後の方針

Kinect v2を使いリアルタイムで表情や奥行き情報を取りそれを用いて適宜ゆっくりの顔を表示する仕組みを作る

さらに音声認識をしてゆっくりで喋らせる

がんばるぞい


リポジトリ

GitHub - maretol/RealTimeYukkuri: リアルタイムゆっくりの開発リポジトリ