Synthesizer VがDTM界にまた新たな革命!人の歌声から音程と歌詞を抽出して再合成。ARA 2にも対応

Dreamtonicsが開発する歌声合成ソフト、Synthesizer Vは、これまでアップデートの度に世の中に大きな衝撃を与えてきたのはみなさんもご存じのとおりですが、11月24日、また新たなバージョン、1.11.0を発表するとともに、そのβテスト版である1.11.0 Beta1が公開になりました。今年6月に登場した1.9.0ではラップを実現し、8月に登場した1.10.0では人間のフィードバックを強化学習するRLHFに対応してより上手に歌うようになったばかり。そして今回の1.11.0では歌わせるエンジン部分そのものというより、歌声合成ソフトとしてのツール部分を大きく進化させ、まさにDTM界に衝撃を与える機能を実現させたのです。

その1つ目は、人の歌声を元にスコアを作成すると同時に歌詞も入れ込んでしまうという機能の実現です。昔から鼻歌を元にスコアを作るという技術はありましたが、それらとは次元の違うレベルのものを実現しています。また2つ目としてはARA 2という規格に対応したことで、Studio One、Cubase、Logicなどとより有機的に融合したことが挙げられます。これによりDAW上のボーカルを別の歌声合成に差し替えたり、MIDIで別の音源を鳴らすこともよりスムーズにできるようになっています。さらに、この1.11.0のタイミングでスペイン語にも対応するなど、さまざまな面で強化されているので、実際どんな機能になっているのかを見てみていきましょう。

人間のボーカルを元に音符・歌詞を抽出できるようになるとともにARA 2対応するようになったSynthesizer V Studio 1.11.0 b1(β版)

ボーカルをMIDIに変換し、歌詞も抽出
VOCALO CHANGERとは方向性が異なる
プラグインからDAWをコントロール可能にするARA 2対応
Studio Oneにはフル対応
Logic Proの場合はARA Bridgeを使った動作になる

ボーカルをMIDIに変換し、歌詞も抽出

今回発表されたSynthesizer V Studioのバージョンは1.11.0 b1(β版)と、11番目のバージョンとなるのですが、今回も従来と同様にユーザーに対しては無償のアップデートとなっています。普通であればメジャーバージョンアップというか、新製品といってもいいほどの革新的なアップデートを繰り返してきているのに、「無償アップデートで大丈夫なの？」とこちらが心配になってしまうほどではありますが、その気前の良さがSynthesizer Vユーザーを飛躍的に増やしてきている大きな要素ともなっているのだと思います。

今回も、まさに革命といってもいい機能を実現しているので、まずは以下の動画をご覧ください。

何をしているかお分かりいただけたでしょうか？これは、声優・小岩井ことりさん歌唱による「ハレのち☆ことり♪」のボーカルのWAVをSynthesizer Vで解析させてノートと歌詞を抽出。そうしてできたトラックのボーカルにMaiを設定して歌わせてみた、というものです。

ボーカルのオーディオを元にSynthesizer Vの歌唱データを生成することが可能になった

これにより、音程も歌詞も、それぞれ完ぺきにMaiの歌声に置き換わっていることがわかると思います。

VOCALO CHANGERとは方向性が異なる

比較的近いものとしては、VOCALOID 6のVOCALO CHANGERがありますが、それとはいろいろな面で方向性が違うようです。VOCALO CHANGERは声質だけをVOCALOIDのキャラクタに差し替えるものであるのに対し、Synthesizer Vのものは、音符と歌詞を抽出したうえで、Synthesizer Vで再合成をかけているため、歌い方のクセも含めてまったく違うものに置き換わるのです。だから、歌い方が下手な人でも問題ないし、男性が歌ったボーカルを女性のSynthesizer Vのシンガーに差し替えてもまったく問題ないというのも大きなメリットです。

読み込んだボーカルデータを選び、コンテキストメニューから「オーディオをノートに変換」を選択

使い方はとってもシンプル。Synthesizer Vのオーディオトラックとしてボーカルを読み込んで置き、これを右クリックしてコンテキストメニューを開くか、自動処理メニューから「オーディオをノートに変換」を選ぶとダイアログが表示されます。

「歌詞を解析」にチェックを入れておくと歌詞も反映される

この際、「歌詞を解析」をオンにして、言語を選んでおけば、ボーカルMIDI変換だけでなく、歌詞も音符に反映されるようになっています。こうして「確定」ボタンを押せば、ボーカルトラックが生成され、ピアノロールでボーカルがMIDIデータとして解析されて表示されるのです。画期的ですよね。

解析した結果、ノートが生成され、ここに歌詞も入っている

普通にSynthesizer Vのボーカルトラックなので、必要に応じてエディットすることで、音符を置き換えることができるし、歌詞を差し替えることも可能という意味では非常に自由度の高いツールとなっています。一方で、歌い方をもっとオリジナルの歌声に近づけたいという場合は、変換のダイアログにおいて「抽出したピッチをノートに反映」にチェックを入れれば、ピッチ変化をそのまま転写することが可能なので、さっきの例でいえばMaiの声質だけど、小岩井ことりさんっぽい歌い方にすることもできる、というわけです。

「抽出したピッチをノートに反映」にチェックを入れてから行うと、ピッチの動きがオリジナルのボーカルと同様になる

なお、歌詞の認識においてはあらかじめ、日本語、英語、中国語のいずれかを選択しておく形になっており、中でも日本語の認識率が高いとのこと。歌詞に複数言語が混在している場合はうまくいかないケースもあるので、その場合はあとから手動で調整するのがよさそうです。

プラグインからDAWをコントロール可能にするARA 2対応

今回のSynthesizer V Studio 1.11.0 b1(β版)において、もうひとつの大きなトピックスがARA 2に対応したことです。この点について、開発者であるDreamtonicsの代表取締役であるKanru Hua（カンル・フア）さんは

「これまでもSynthesizer VはDAWのプラグインとして使うことができましたが、ユーザーから『プラグインであるSynthesizer Vから再生できない』、『DAW側でテンポを変えてもプラグイン側に反映されない』といった指摘を受けていました。それは確かに事実なのですが、VSTやAUなど、プラグインの仕様上どうしようもなく、我々としても何もすることができませんでした。しかし、今回ARA 2に対応させることができたため、こうした問題を解決することができました」と話してくれました。

Synthesizer Vの開発者であるDreamtonicsのKanru Huaさん

このARA 2対応のおいては、すでにVOCALOID 6やVoiSonaが先行しているので、Synthesizer Vも後発として追いついた形ではありますが、後発だけにさらに使いやすく便利なアプローチをとっています。とくのDAW側とSynthesizer V側でトラックを連動させることができ、DAW側でクリップを移動すると、SynthesizerV側のノートグループが追従するなど、「ARA 2ってこんなこともできたのか！」と驚く機能もいっぱい。

でも、「ARAって聞いたことがあるけど、イマイチよくわからない」、「Melodyneが対応しているのは知ってるけど使ったことがない」という方も少なくないはず。そもそもARAとはAudio Random Accessの略で、DAWとプラグインの間を取り持つインターフェイス規格。プラグイン側からDAWの任意の位置のオーディオ信号へアクセスを可能にするというものなのです。

Cubase Pro 13でもARA2対応のプラグインとして動作させることができた

もともとStudio Oneの開発元であるPreSonusとMelodyneを開発するCelemonyが共同で開発した規格で、2013年に発表されたのですが、その後2018年にARA 2がリリースされ、現在はARA 2が主流になっています。ARA 2の詳細については以前「ARA 2対応で何が変わるのか？Melodyneの開発者にインタビューしてみた」という記事でも紹介しているので参考にしていただきたいのですが、現在DAW側としてはStudio OneやCubase、LogicのほかProTools、Digital Performer、BITWIG Studio、ACID Pro、Cakewalk、Reaper……といったDAWがARA 2をサポートしています。Ableton LiveやFL Studioは現在のところARA 2対応はしていないものの大半のDAWが対応した格好となっています。

「ARAは初期のARA 1と現在主流のARA 2の2つの規格が存在していますが、今回のSynthesizer V Studio 1.11.0 b1(β版)ではARA 2に対応させました。ただ、ARA 2の仕様書があまりしっかり完備されていないこともあり、DAWによってARA 2の実装がかなりマチマチなんです。そのため、確かにStudio Oneではスムーズに動くけれど、Logic ProではARA bridgeを使用する必要があり、利用できる機能も再生をプラグイン側からもできるようになることや、BPMがDAW側と同期することに限られる…といった具合です」とKanruさん。

Studio Oneにはフル対応

使うための手順もDAWごとに異なるため、ここでは詳細は省きますが、とくにStudio Oneの場合、ARA 2の本家ということもあり、非常に快適に使うことができます。

具体的にはあらかじめStudio Oneにオーディオトラックを作成し、そこにオーディオクリップを置いておきます。このオーディオクリップにドラッグ＆ドロップする形で、Synthesizer V Studio ARA PluginをイベントFXとして入れるのです。

Studio Oneの場合、エフェクトとして見えるARA Pluginを利用する

そう、今回のSynthesizer V Studio Proはインストゥルメントとしてのプラグラムだけでなく、エフェクトとしてのプログラムが用意されていて、ARA 2プラグインとして動作するのはエフェクトのほうなんです。まあ、インストゥルメントであってもエフェクトであっても、それは形だけの違いで、中身的にはほぼ同じものなのですが。

Studio OneのエディタとしてSynthesizer Vが使える形になり、完全に一体化する

こうすることで、まさにStudio Oneの一機能のようにしてSynthesizer Vを使うことができるようになり、単に同期するというだけでなく、DAW側でクリップをコピーするとSynthesizerV側もでも同じように見えて連動しているなど、すごく便利に使うことができます。

また前述のオーディオからノートと歌詞を抽出する機能においても、非常に効率よく使うことができます。たとえばオーディオトラックにボーカルを録音したら、それをそのままSynthesizer Vで解析して、Synthesizer Vで歌わせることができるのはもちろん、別のインストゥルメントトラックにコピーしてシンセサイザでユニゾンで鳴らすことができるなど、まさに自由自在です。

Logic Proの場合はARA Bridgeを使った動作になる

一方、Logic Proの場合は、DAWの仕様上ARA 2のフル機能が使えず、ARA Bridgeという仕組みを用いて動作させる必要があります。まずオーディオトラックにSynthesizer V Studio ARA Pluginをインサーションとて入れます。これはAUプラグインエフェクトという位置づけのものですね。さらにインストゥルメントトラックを作成して、ここにSynthesizer V Studioのプラグインをセットします。こちらはAUプラウグインのインストゥルメントです。その後、いったんプラグイン側を再生してLogicを再生させるというのがミソ。これによってはじめてDAWであるLogicとプラグインであるSynthesizer Vが同期する形となります。この際BPMが同期するのは再生中のみとなります。

ARA Bridgeを使うことでLogic Proなどとも有機的に結合して利用することができる

このLogic Proでの手順はVOCALOID 6でとほぼ同じですね。

「これまでStudio One、Cubase、Logicでテストしてきました。操作手順は異なりますが、CubaseもStudio Oneと同様にフル機能使える形になっています。その他DAWについても、対応を順次増やしていく予定で、何社かのメーカーにもすでにアプローチをしております。ぜひ情報があればフィードバックいただけると助かります」とKanruさん。

ARA Bridgeを用いて動作させるとSynthesizer V Studioの画面右上に「ARA Bridge Link」という表記がされる