ソニーによる世界最高の音源分離技術で実現した、ボーカルだけをキレイに抽出できるSoundmain Studioの新機能

以前DTMステーションで紹介したことのある、ソニー・ミュージックエンタテインメントのプロジェクトSoundmain（サウンドメイン）。ここでは、ソニーグループが研究・開発する最新の音楽関連テクノロジーがいち早く機能として実装され、クリエイターが利用できるようになっているのですが、今回ボーカル抽出という新機能が追加されました。これは、ブラウザ上で使える音楽制作プラットフォームSoundmain内の音楽制作サービスSoundmain Studio上で使える機能で、音源からボーカルのみを抜き出し、手軽に高品質なボーカル音源を作成することができます。
つまり楽器などの演奏も消せるわけなのですが、驚くべきはその精度。ボーカル抽出といえば、さまざまなソフトで行うことが可能ですが、声がシュワシュワになってしまったり、オケが残ってしまったりすることがありますよね。それに対し、Soundmain Studioのボーカル抽出は、かなり高いクオリティで、きれいにボーカルだけを残すことが可能なのです。これはノイズ除去としても利用することができるので、さっと処理したいときにも重宝すると思います。そんな新機能であるボーカル抽出を試してみたので、実際に紹介していきましょう。

世界最高の音源分離技術で実現したトップレベルのボーカル抽出ができる新機能の紹介

以前は音源分離機能について紹介した

今回新機能が実装されたSoundmain Studioは、アプリなどをインストールせずにブラウザ上で使えるDAW的なもの。マルチトラックのエディタに音源素材を並べていくことで作曲/編曲、ミックスといったことが行えるというのが基本機能であり、制作データや音源素材をサービス内のクラウドストレージ上に保存することも可能。WindowsでもMacでもブラウザからSoundmain Studioを開くことにより、いつでもどこでも楽曲制作を行えるツールとなっています。なお以前の記事では、ここで音源分離機能が使えることを紹介しています。
さて、新機能として搭載されたのが、ボーカル抽出。前述の通り、高品質なボーカル音源を作るため、ボーカル以外の音を除去する機能となっているわけですが、さっそくその実力を聴いてみてください。

いかがでしょうか？かなり驚異的だと思いませんか？ここでは2パターン作ってみました。1つは、ボーカルのソロにかなり大きいヒスノイズが入っているというバージョン。もう1つは、2mixの音源に同様のノイズが入っているというバージョンになっています。いずれに対しても、非常にキレイにボーカルを抜き出せていることが分かると思います。一般的にこうしたことを実現するには、ノイズ除去ソフトや音声処理のためのツールを組み合わせながら処理する必要がありますが、Soundmain Studioのこの新機能を使えば、ほぼ自動で処理してくれるのです。

音源分離技術を開発したソニーグループ株式会社の光藤祐基さん

しかも、この精度の高さですから、ノイズ除去ソフトを持っている方でも、Soundmain Studioのボーカル抽出を使うほうが、よりキレイに処理できる可能性が高そうです。でも、なぜこんなにもきれいにボーカルを抜き出すことができるのか？この技術を開発したソニーグループ株式会社の光藤祐基さんは

「音源分離技術と、ノイズ除去は実は非常に近い技術を使っており、いつもセットで語られるものなんです。もちろんノイズといってもいろいろなものがあり、クルマが走っているようなノイズから声を抜き出すとか、風に吹かれるウィンドノイズからノイズだけを抜き出すといったことも可能です」と話します。

前回の記事のインタビューでも触れていましたが、すでにこのノイズ除去技術はXperia 1 IIのインテジェントウィンドフィルターという機能として搭載されており、スマートフォンでの録音時に、発生した風切り音を除去することが可能です。以下のビデオを見ると、その状況がよくわかると思います。風切り音は消えているのみ、波の音が消えていないのは、驚異的にも感じます。

ノイズ除去だったり、オケからボーカルを抜き出したりしたいシチュエーションは、人それぞれだとは思いますが、ボイスメモで弾き語りしたデータからボーカルを抜き出しボーカル音源を作成して、そこからデモを作ったりということもできそう。また、Soundmainにあるサウンドパックで制作したループトラックとボーカル音源を組み合わせてリミックスを作るといったことも可能。自宅で歌をレコーディングして、Soundmain Studioのボーカル抽出でノイズを除去。そのデータをもう一度DAWに戻してきて、歌ってみた動画の音源を作るというのもいいですね。

それでは、実際にどういった手順でこのボーカル抽出機能を使うのかについて紹介していきましょう。まずは、Soundmain Studioにアクセスして、New Projectから新しいプロジェクトを作成します。

Soundmain Studioにアクセスして、New Projectから新しいプロジェクトを作成

Create New Projectの画面が表示されるので、プロジェクトの名前、必要であればメモを記載しておきます。入力を終えたら、Createボタンをクリックします。

入力を終えたら、Createボタンをクリック

すると、Soundmain Studioのメインのページが表示されます。ここでは、トラックを作って録音をしたり、サンプルをドラッグ＆ドロップしてビートを作っていくといった操作を行うことができます。

Soundmain Studioのメインのページ

続いて、右下にある音符マークをクリックすると、右サイドに画面が表示されるので、Browserをクリックします。

右下にある音符マークをクリックして、Browserを選択

このブラウザ画面にボーカル抽出機能に使いたい音源ファイルをアップロード。次にボーカル抽出機能を適用するファイルを選んで、ボーカル抽出ボタンをクリックします。1つずつしかボーカル抽出機能は使えないので、複数ファイルある場合は、同じ操作を繰り返します。ちなみにここにアップロードしたファイルは、クラウドに保存されるので、Soundmainにログインすれば、どのPCからもアクセスすることができます。

ブラウザ画面にボーカル抽出機能に使いたい音源ファイルをアップロードし、処理を行う

すると、ボーカル抽出のポップアップメニューが表示されます。使用ポイントは100POINTSとなっており、実行をクリックすると処理がスタートします。ちなみに、以前紹介した音源分離は200POINTSなので、その半分のポイントで処理できるわけですね。

実行をクリックするとボーカル抽出がスタート

ボーカル抽出の処理時間は、今回の1分ほどの長さの音源で、50秒程度かかりました。実行進度は、右上から確認できます。

実行進度は、右上から確認できる

処理が終了すると、ブラウザ画面上に「○○○○_vocals」というデータが生成されます。これにてボーカル抽出は完了です。

ボーカル抽出が終わると、ブラウザ画面上に「○○○○_vocals」というデータが生成される

ボーカル抽出を使用するためには、Soundmainにサインアップして、新規会員登録するとともに、Standardプランに入ることが必要となります。Standardプランの場合、1か月で1800ポイントもらえるので、そこからボーカル抽出1回につき、100ポイント引かれるので追加料金がかかるわけではありません。

Soundmainのプラン

以上Soundmain Studioの新機能ボーカル抽出について紹介しました。技術的には音源分離と近しいものを使っているようですが、ボーカルのノイズ処理に用いるのであれば、今回のボーカル抽出が最適。またオケからボーカルだけを取り出したいというのであれば、ボーカル抽出ですが、オケを作りたいとか、バランス調整などもしたい…というのであれば音源分離がよさそうですね。この辺は、用途に応じて使い分けていくとよさそうです。いずれにせよ、これだけ高機能にボーカル音源に含まれる音源からノイズ除去を行えるものは、ほかになかなかない上、ブラウザ上で行えるのはかなり便利で、音楽制作をする多くの人にとって強力な味方になってくれそうです。

※2022.10.16追記

SNSなどで「ボーカルの抽出の逆で、ボーカルだけを消すことはできるのか？」という質問を多数いただきました。これについては先日紹介した「音源分離」機能を使うことで可能です。今回の記事でも触れた通り、ボーカル抽出の倍の200Pointが必要になりますが、「ボーカル」と「それ以外」の2つを取り出すことが可能となります。一方、今回の「ボーカル抽出」で取り出した結果を位相反転させて、オリジナルに重ね合わせるということでもある程度可能でした。ただ、実際に試してみたところ、ボーカルが非常に小さくなるという感じで、ある程度は残ってしまうので「音源分離」を使うことをお勧めします。

【関連記事】
ソニー開発のディープラーニングによる世界最高の音源分離技術を利用できる、音楽制作サービス、Soundmain
SMEが展開するブラウザ上の音楽制作サービス、Soundmain Studioに歌声合成機能を搭載。声は知声だった!

【関連情報】
Soundmain 公式サイト
Soundmain 春の作曲チャレンジキャンペーン　キャンペーンサイト