すごいのは「ぼかりす」だけじゃない（その2）：すべての曲を初音ミクが歌えたりして

　前回の「サビ抽出プレーヤー」に次いで、「ぼかりす」作者と目されている産業技術総合研究所の後藤真孝氏チームの別の研究を取り上げてみましょう。

　と取りかかろうとしたところ、VOCALOIDの知財関係＆VSQ変換Webサービスで知られる「人生は是勉学の事」さんが、知財方面から「ぼかりす」にアプローチされてます。その内容がたいへん興味深い。

・ぼかりす

　後藤真孝氏の持つ特許を調べており、次のことが判明したそうです。

いずれの特許出願も音高(PIT)を高精度に推定するというもので、課題が共通しています。

最初の特許を除く5件の特許は産業技術総合研究所とヤマハ株式会社の共同出願だったので、ちょっと驚いてしまいました。

　もう1つ。前回取り上げたMiruSingerの論文の中に、ビブラートを自動検出する技術があることを発見しており、「ぼかりす」では音高とともに、ビブラートまでVSQに反映させているのではと推定されています。

　なお、後藤真孝氏の人柄や姿勢を知るには、この新聞インタビュー記事が参考になるのではないでしょうか。卒論が、ドラムサウンドの自動認識だったというから、サウンドの自動認識というのは、後藤真孝氏にとって永遠のテーマなのかもしれません。

「膨大な数の楽曲が溢れるようになると、グーグルのような検索の役割をする技術が必ず必要。これからは、音楽をより能動的に楽しむ時代になる」と語っています。

　ソニーがGracenoteを買収したり、CBSがLast.fmを買ったりと、音楽分析系サービスの重要性が増すにつれ、このような研究は重視されていくのでしょうね。

　さて、そんな後藤真孝氏の研究でピックアップしたいのが、VocalFinder。VocaListenerと似てますよね。

　情報処理学会電子図書館の「VocalFinder: 声質の類似度に基づく楽曲検索システム」によれば、次のとおり：

ボーカルの声質の類似度に基づく楽曲検索システムを開発した．本システムは，クエリとして与えられた楽曲と類似した声質を持つ楽曲を予め登録したデータベース中から検索する．本システムを実現するために，伴奏を含む音響信号中から伴奏音の影響を低減させ歌声の特性を表現する特徴ベクトルを抽出する手法と，相互情報量を用いて2つの特徴ベクトル列間の類似度を計算する手法を開発した．本システムを実装し，75曲をデータベースに登録し運用することで，システムが正しく動作することを確認した．さらに，被験者実験の結果，被験者の80%の回答が，従来のMFCCなどを用いた手法と比較して，提案手法によりボーカルの声質が類似した楽曲を検索出来ていると回答した．

　これは、歌手の特徴を同定することを可能にする技術なんですが、そのために、「伴奏を含む音響信号中から伴奏音の影響を低減させ」というのがおもしろいですね。つまり、カラオケのマイナスワンじゃなくて、「マイナスボーカル以外」を実現してくれそうです。

　この技術を使うことで、既存の楽曲の中からボーカルパートのみを抽出し、その特徴を解析してVSQファイルに落とし込み、ボーカルパートを取り去ったオケファイルと合体させたら……。

　どんな曲でも初音ミクにうたわせることができますよね。元曲さえ持っていれば。オケの部分をBand-in-a-Boxとかに読み込ませてアレンジを変えてしまえば、それはそのままニコニコ動画にアップできたりするのでしょうか。

　実現したらすごいことになりそうですね。

追記：わたしが言いたかったことは、「初音ミクに挑戦してみる。」さんの、
ぼかりす＝音楽著作権システムの「終わりの始まり」？が言い尽くしてくれています。そうそう。こういうことなのです。

関連記事：
・すごいのは「ぼかりす」だけじゃない（その1）：サビ抽出プレーヤー
・謎のテクノロジー「ぼかりす」の衝撃
・初音ミクの“神調教”が自動で!?　「ぼかりす」に話題騒然（ITmedia News ねとらぼ）
・ぼかりす＝音楽著作権システムの「終わりの始まり」？（初音ミクに挑戦してみる。）