Synthesizer Vの開発元であるDreamtonics株式会社から、新たなAI演奏合成ソフトウェア「Instrument X」がリリースされたことは、DTMステーションでも先日お伝えした通りです。あの記事を読んで実際にソフトを試された方も多いと思います。サンプリング音源を中心とした従来のソフトウェア音源の常識を覆す、まさにDTM革命ともいえる音源です。あの自然な演奏、そして立体的な響きの裏側には、一体どんな開発ストーリーがあったのでしょうか。
本日、Dreamtonicsから、Instrument Xの開発の裏側を紹介するビデオが公開されました。このビデオにも登場しているのが、DreamtonicsおよびAHSの代表取締役であるカンル・フア（Kanru Hua）さんと、作編曲家であり、Instrument Xの前身ともいえるAI楽器演奏ソフト「Melisma」の開発者でもある中迫酒菜（なかさこ・さかな）さんのお二人。今回、このお二人にじっくりとインタビューする機会をいただいたので、Instrument X誕生までの道のりを聞いてきました。
Dreamtonicsの音源、Instrument Xの開発者であるカンル・フアさん(左)と中迫酒菜さん(右)
Synthesizer Vユーザーから寄せられていた「楽器も」という声
以下がDreamtonicsから公開されたビデオですが、このビデオにも出ていない、さまざまな舞台裏を聞いてみました。
藤本：まず、そもそもInstrument Xを作ろうと思ったきっかけを教えてください。
カンル：実は、Synthesizer Vのユーザーさんから「楽器にも対応してほしい」という声は、Synthesizer V発売の結構早い段階からいただいていたんです。ボーカルの合成で使っているニューラルネットワークの技術を、そのまま楽器にも応用できないか、という発想ですね。
藤本：それは自然な発想ですよね。
カンル：ただ、実際に検討してみると、人の声と楽器はまったく別物だということがすぐに分かりました。ボーカルは音素と発音の関係性がベースになりますが、楽器の場合はアーティキュレーションや奏法という、まったく違う要素が絡んできます。Synthesizer Vの延長線上でやるのではなく、楽器のためだけの専用プラットフォームを作る必要があると気づいたんです。
Dreamtonicsの代表取締役であるカンル・フアさん
藤本：とはいえ、カンルさんご自身は楽器の専門家というわけではないですよね。
カンル：そうなんです。だからこそ、音楽と技術の両方をつなげられる人を探していました。
中迫さんに手渡された、1冊の本
藤本：そこで中迫さんとの出会いがあったわけですね。実はお二人を引き合わせたのは、私でしたね。
中迫：そうなんです。もともと僕が「Melisma」という、楽器の演奏をAIで生成するソフトを個人で開発していて、それをDTMステーションで取り上げてもらったのがきっかけで、藤本さんに相談したんですよね。
作編曲家であり、Insrument Xの前身であるmelismaの開発者でもある中迫酒菜さん
藤本：中迫さんから「今後どうしていったらいいか」という相談を受けて、カンルさんを紹介したのが最初でした。
カンル：もっとも中迫さんとAHSとは、それよりも前に、弦巻マキの公式ソングの制作でご一緒したこともありました。その中迫さんと直接お会いしてからまず始めたのはInstrument Xの開発、というわけではなく、まずは勉強でした（笑）。中迫さんから、オーケストラの各楽器のアーティキュレーションや奏法、それに編成の組み方や記譜の読み方について書かれた本を渡されて、そこから勉強させてもらったんです。
藤本：カンルさんが一から楽器について学ばれた、と。
カンル：はい。ボーカルとはまったく違う世界だったので、新鮮でしたし、必要なことでした。
ゲーム音楽の現場から生まれた、Melisma開発の原点
藤本：中迫さんがMelismaを作ろうと思ったきっかけは、どんなものだったんですか？
中迫：僕は本業が作曲家で、ゲームのBGMなどを手がけることも多いんですが、あるとき、非常に限られた予算で、フルオーケストラに匹敵するクオリティのアレンジを作ってほしいという依頼を受けたことがあったんです。ただ、当時使っていたツールだけでは、打ち込みで人間らしいニュアンスを表現するのがすごく難しくて。
藤本：予算の都合で生演奏は使えない、でも打ち込みっぽさは出したくない、というジレンマですね。
中迫：楽器って、一つとってもすごく複雑なんですよね。ヴァイオリンだけでも、弓弾きとピッツィカートではまったく音色が違いますし、本体の構造や指使いなど、いろんな要素が複雑に絡み合って、その楽器特有の音が生まれています。これをSynthesizer Vのように機械学習で再現できれば、もっと効率的に作業できるんじゃないかと思って、その楽曲を納品した直後からニューラルネットワークの勉強を始めました。ヴァイオリニストの友人にも協力してもらいながら、最終的にできあがったのがMelismaです。
藤本：そこから、ご自身でエディター化にも挑戦されていたと伺いました。
中迫：そうなんです。実はカンルさんに本格的に相談する前に、自分一人でエディターを作ろうとしていた時期がありました。ただ、音を1つずつ逐次的に生成していく方式だと、レイテンシーがどうしても大きくなってしまって、実用的な速度で動くものが作れなかったんです。そこで一度、自分一人で完成させるのは難しいと判断しました。
藤本：それで改めてカンルさんに相談を、という流れだったんですね。
中迫：ちょうどその頃、Melismaが海外のフォーラムなどで話題になって、複数の海外の会社からも声をかけていただくようになっていたんです。ただ、僕一人ではとても対応しきれる規模ではなかったので、藤本さんにも相談しつつ、改めてカンルさんに話を持ちかけることになりました。
藤本：そこからさらに、Instrument Xの開発につながっていくわけですね。
中迫：Melismaを作る中で、自分の限界にも気づいたんです。ニューラルシンセシスだけでは実現できないことがあって。楽器の音を唯一無二のものにしているのは、楽器そのものの構造だけじゃなくて、それがどんな空間で演奏されるか、つまりスタジオやホールも大きく関係しているんですよね。この気づきが、後のInstrument Xの音響面のアプローチにつながっていきます。
役割分担は「適材適所」。エンジンはカンルさん、音楽面は中迫さん
藤本：お二人の役割分担は、どんな形になったんですか？
カンル：AIの技術面と音響処理、それに販売関連は私が担当して、中迫さんにはユーザビリティ、つまりユーザーにとってどうアプローチすれば製品が良くなるか、という音楽面からのアプローチ全般をお願いしました。どんなデータを、どういう比率で用意するか、といった設計も中迫さんです。
中迫：エンジンのコードそのものは僕は書いていないんです。正直、どんなコードになっているのか気になる部分はあるんですけど（笑）、それよりもユーザー目線に立ってカンルさんにひたすら意見を伝える方が、結果的にいいものになると思っていました。
藤本：本来、中迫さんは作曲家であって、エンジニアが本業ではないですもんね。
中迫：そうなんです。お互い一番得意なところに集中する形にしたのは、15種類もの楽器を同時に開発する上でも、効率という意味で正解だったと思います。
アダージョからバラードまで、5つのスタイルに込めた狙い
藤本：1本目の記事でも紹介したんですが、Instrument Xには「アダージョ」「アレグロ」「コン・フォーコ」「ポップ」「バラード」という5種類のスタイル機能がありますよね。この5つを選んだ理由はあるんですか？
中迫：クラシックの速度標語だけだと、今のDTMユーザーが作る曲調をカバーしきれないと思ったんです。アダージョやアレグロ、コン・フォーコはオーケストラ的な文脈で使いやすい一方、ポップやバラードは現代的な楽曲にも寄せやすいように、あえて毛色の違うスタイルを混ぜています。クラシックの作編曲家にも、ポップスやゲーム音楽を作る方にも、それぞれ違和感なく使ってもらえるバランスを意識しました。
藤本：AIリテイク機能についても、狙いを聞いてもいいですか？もともとSynthesizer Vでお馴染みの機能ではありますが。
中迫：そうですね。Synthesizer Vからの機能ですが、楽器においても狙った演奏に一発でたどり着けないことの方が多い、という前提で搭載したものなんです。人間の演奏でも「もう一回弾いてみて」ということはよくあると思うんですが、それと同じ感覚で、ピッチや音色のニュアンスだけを気軽に何度も試せるようにしたいと思っていました。アーティキュレーションやダイナミクスはそのままに、演奏の「表情」の部分だけを再生成できるようにしたのは、実際の収録現場でのテイク選びに近い感覚を、DTMの中でも再現したかったからです。
「phasey」な響きを解決する、十二面体スピーカーアレイ
藤本：続いて、Instrument Xの目玉でもあるマイクミキサーの話を聞かせてください。複数のマイクを使ってミックスするというUI自体は、従来のサンプル音源にもあったと思うんですが。
カンル：見た目のUIは近いんですが、裏側の仕組みはまったく違います。グリッサンドのように音が移動する演奏を複数マイクで収録すると、実際のスタジオでは、近くのマイクに音が届いてから、少し遅れて遠くのマイクに届き、さらに壁で反射した音が戻ってくる、というように時間差が生まれます。単純なニューラルオーディオ合成だと、この時間の順序関係をうまく保てなくて、結果としてステレオで聴いたときに、平坦だったり、位相がずれた「phasey」な響きになってしまうんです。
藤本：それで、音の伝わり方のルールそのものをネットワークに組み込もう、と。
カンル：はい。ボーカルであれば、単純なインパルスレスポンス（IR）で空間を再現できるんですが、楽器の場合はそう単純にいきません。周波数によって、楽器から360度どの方向に音が出るかがかなりランダムに変わるからです。そこで必要になるのが、方向ごとの特性を持ったDRIR（Directional Room Impulse Response）です。
藤本：8月4日に公開されていたInstrument Xのティーザービデオの、あの十二面体のスピーカーですね。
十二面体スピーカーを手にするカンルさん
カンル：そうです。あれは正式には「十二面体スピーカーアレイ」といって、12個のスピーカーそれぞれを独立制御できるようになっています。あれを使ってスタジオの各方向にビームを飛ばすようにして、部屋の反響特性を測定するんです。
中迫：測定したスピーカーの特性を、収録済みのマルチマイク音源に逆方向から適用してあげると、楽器そのものが本来どちらの方向に、どういう音を放射しているかというデータが取り出せます。そこに、今度は好きなスタジオの指向性IRを適用してあげれば、まるでそのスタジオで録ったかのような音が再現できる、という仕組みなんです。
藤本：なるほど、単なる「音源にリバーブをかける」のとはまったく発想が違うわけですね。だから、マイクの本数を増やしても位相が破綻しにくいし、レンダリングも速いと。
カンル：その通りです。
収録を任されたのは、中迫さんの「10年来のオタク仲間」
藤本：実際の楽器の収録は、どなたが担当されたんですか？
中迫：収録は、ケーエムワークスの三國浩平さんにすべてお願いしました。三國さんとはもう10年以上前からの、オタク仲間みたいな関係で（笑）。彼はレコーディングエンジニアなんですが、それだけじゃなくて作編曲家でもあり、指揮者でもあるんです。だから、音響的な部分だけじゃなく、音楽的な部分も含めて、収録に関することは全面的に任せられる相手でした。
Instrument Xのすべての収録を行ったケーエムワークスの三國浩平さん
藤本：単にマイクを立てて録るだけじゃなくて、演奏のディレクションも含めて、ということですね。
中迫：そうですね。事前に十二面体スピーカーで測定したスタジオの特性に合わせてマイクを設置してもらったりと、かなり専門的な部分までお願いしています。国内有数のプロのレコーディングスタジオでの収録であり、サンプリング音源でもこれだけのいい環境で収録されたものは少ないと思います。この点もInstrument Xの大きな特徴です。
Instrument Xの収録を行ったスタジオの俯瞰写真
藤本：マイク自体も、かなりこだわって選んでいたと三國さんからも伺いました。
中迫：はい、三國さんは楽器ごとにマイクを使い分けていました。たとえばオーボエ、ファゴットのクローズマイクにはノイマンのU67を、ブラス系とコントラバス以外の弦楽器のクローズにはノイマンのM49を使っています。フルートとクラリネットはAKGの414、コントラバスはノイマンのU47 Tubeというように、本当に楽器ごとに最適なマイクを選んで収録しているんです。
ファゴットのクローズマイクにはノイマンのU67が使われていた
藤本：ブラスセクションは何か違うんですか？
中迫：ブラスの場合は、それに加えてもう1本、Royer LabsのR-121というリボンマイクを立てていました。三國さんによると、デッカツリーにはSANKENのCO-100K、アンビエントにはB&Kの4006、ワイドマイクにはSCHOEPSのCMCｰ55Uを使っていたとのことです。
SANKENのマイクを搭載したデッカツリー
藤本：マイクプリアンプの方はどうでしょう？
中迫：オフマイク系は、Over Qualityのヘッドアンプを使っていて、クリーンでS/Nが良いのが特徴だそうです。オンマイクの方は、太さを出したいという理由で、Rupert NeveのShelford 5025を使い分けていたと聞いています。
Over Qualityの高品位なヘッドアンプ
藤本：かなりマニアックな話ですね（笑）。
中迫：そうなんです。ただ、ここまでこだわって収録しているからこそ、Instrument Xのリアルな音が生まれているんだと思います。
「Instrument X」という名前の由来
藤本：最後に、ちょっと軽い話も聞かせてください。「Instrument X」という名前は、どうやって決まったんですか？
カンル：名前を決めるのが、毎回一番大変なんです（笑）。最初は社内で50個くらい候補を出して、それを20個まで絞り込んで投票したんですが、日本チーム、海外チーム、それぞれ好みが違って、なかなかまとまらなくて。
藤本：最終的に「X」になった決め手は？
カンル：「V」との対比で、変数的なイメージがあるところと、ロゴがデザインしやすいところですね。Synthesizer Vとの関係性が伝わりやすいのも良かったです。
藤本：ちなみに、2位だった候補は覚えていますか？
カンル：「Synthesizer I」とか、「Instrument I」、「Instrument 1」といった案もありました。でも、最終的には「Instrument X」に落ち着きましたね。
藤本：それはそれで気になりますね（笑）。今日は貴重なお話、ありがとうございました。
1製品1コンセプトを貫くDreamtonics
インタビューの最後に、中迫さんからはこんな言葉もありました。
中迫：私たちがこだわったのは、ソフトウェアが自動的に処理するべき部分と、ユーザーが自分の意思で調整したい部分のバランスです。ここを誤ると、ユーザーから個性や創造性を奪うツールになってしまうか、逆に既存のサンプルライブラリの焼き直しになってしまうと思っていました。今後も、現代音楽などまだ市場に製品が存在しない領域も含めて、音楽的・技術的な機能を追加し続けていく予定です。
Dreamtonicsは、Synthesizer V、VOICEPEAK、Vocoflex、そして今回のInstrument Xと、1つの製品につき1つのコンセプトを貫くという方針を取っているとのこと。ボーカルはボーカル、楽器は楽器として、それぞれに特化した形で進化を続けていくようです。今後のアップデートやラインナップ拡充にも、引き続き注目していきたいと思います。
【関連記事】
DTM常識を覆す、まったく新たな超高性能音源「Instrument X」爆誕! Synthesizer VのDreamtonicsが開発
コメント