ぼかりすの日のもとに
いよいよこの日がやってきました。「ぼかりす」こと、VocaListenerが音楽情報科学研究会において学会正式発表が行われる日。
・VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステム
本技術の詳細は2008年5月28日以降にこのWebページ上で ご紹介させて頂きますので、 大変申し訳ありませんがもう少々お待ち頂きたく、 どうぞよろしくお願い申し上げます。
はい。ずいぶん待ったきがしますが、そのあいだにもがくっぽいどや400P(yuukiss氏)による「ぼかんないんです」、初音ミクに挑戦してみる。のだんちゃん氏による「すっぴん調教」、飴屋/菖蒲氏によるVOCALOIDオルタナティブなUTAUの急速なキャッチアップ、zhuo氏による音声解析技術、Ripplesなど数々の新技術や改善提案が出ています。
わたしもこのために、初音ミクのVSQファイルと、それを自分で歌ってみたものを用意して準備しています(笑)。
5月28日午後3時の時点では公式ページに変化は見られませんが、4時25分には中野倫靖氏、後藤真孝氏による講演が終わっているはず。
さて、この技術は即日ダウンロード可能になるのでしょうか? あとで変化があったら追記していきます。
追記1:2ちゃんねるのレポを見ていたら、「歌唱力補正」なるものがあるとの話が。真偽はわからないけど、どうすればうまく歌えるかというパラメータをある程度数値化して、それを既存のVSQメロディーラインに当てはめることができるのでしょう。そのレベルを決められるので、「そこそこのうまさ」といったことが可能なのかも。前に初音ミクに「ヘタ」モードの実装をで書いたけど、それならば「そこそこのへたさ」をあてはめて、ボイストレーニングろくに受けてないような「アイドル」を作り出すことができるんじゃないでしょうか。
追記2:同じ学会で、クリプトンの佐々木氏による講演があり、そこで、鏡音リン・レンのAct.2なるアップデートが7月に行なわれることが明らかになったもよう。おそらく特定の子音の発音が修正されるのでしょう。ということは、それをネタにした曲も意味がなくなるというわけで、早めにニコ動にうpすることにしよう。学会のビデオが尻Pさんにより公開されていたので、いちおうここにペースト。ベタ打ち状態Act.2レンのデモを聴くことができます。
追記3:2ちゃんねるYouTube板のVOCALOID本スレで、レポートがさらに追加されていたのでそれを自分なりに解釈してみると:
歌唱補正は、ユーザーの歌唱がうまくない場合でも、既知の歌唱補正手段を適用する、というもの。おそらく、音程の安定化とビブラート(ピッチとダイナミクスの連動)、フレーズの最初のノートのピッチ上下変化などでしょう。
基本的なノート情報以外のパラメータは、DYNとPITだけというのがわかります。GENやOPEとかはいじらない、と。手法としては、合成パラメータの反復推定というもので、目標歌唱(自分やリアルシンガーが歌ったもの)に近づけていくそうですが、具体的にはどのようなものか、デモを見てみないと想像がつきません。
歌詞推定については、トライ&エラーで、正しい候補を提示していく形式のよう。ここは「完全にこれで正しい」というのは出せないので方法としては妥当でしょうね。
後藤氏の技術の1つである、CD音源などの楽曲からのボーカルサウンドのみ抽出というのも組み合わせているかどうか、というのが興味あるところですが、今回はあえてやっていないんでしょうね。
追記4:学会出席者によるレポートがあがったのでリンク:ぼかりすを聞きにいってきたよ(日々の御伽噺)
追記5:野尻先生のレポートがあがりました。第75回音楽情報科学研究会に行ってみた
ぼかりすには「ブレス自動検出法によるブレス付与」なんてのもあるんですね。それと、和歌山大などによるSTRAIGHTを使った初音ミクと人声とのモーフィング実験。不気味の谷がどのへんにあるのかわかるようになるのかも。STRAIGHTは2ちゃんねるで初めて知ったんですが、このFlashとかおもしろいです。
関連記事:
・謎のテクノロジー「ぼかりす」の衝撃
・初音ミクに「ヘタ」モードの実装を
・鏡音リン・レンがもっと自然に歌う「ACT2」