さまざまなところで話題になる人工知能＝AI。音楽の世界でも自動作曲や自動マスタリング、自動ミキシング……など、さまざまなツールが登場するとともに進化をしてきているわけですが、演奏という面でも人工知能による取り組みが行われています。先日、ヤマハの研究機関で生み出された演奏にまつわる人工知能技術では、人の弾く演奏に合わせて伴奏してくれるというもの。クリックを聞いて人がシーケンスデータに合わせるのではなく、人による自由な演奏にコンピュータが合わせてくれるというものです。しかも単にテンポだけでなく、演奏が盛り上がってフォルテ気味になってくると、伴奏も強くなったり、それに合わせたリフが加わるなど、従来の人とシーケンサの関係とは大きくことなるシステムです。

さらにその人工知能と映像を組み合わせたシステムをヤマハと博報堂アイ・スタジオが共同開発した「Duet with YOO(デュエットウィズユー」というものが、先日アメリカで行われた音楽・映画・インタラクティブの祭典「SXSW2018」で発表されたものですが、そのシステムが現在、東京のヤマハ銀座ビルで展示されており、5月22日までの期間、誰でも人工知能とのセッションを無料で体験できるようになっているのです。どんなシステムなのか紹介してみましょう。

進化するYAMAHAのAIシステム。人のテンポ、強さ、ノリに合わせてセッションしてくれる

ライブステージに同期を用いているというケースは少なくありません。プロの大規模なステージではもちろんのこと、アマチュアバンドのライブなどでも、同期を用いることがかなりあるのはみなさんご存知のとおりです。DAWをステージに持ち込んで行うのか、もう少しシンプルなシステムで行うのかは、人によって、また演奏内容によっても異なりますが、楽器の演奏を伴う場合は、通常、DAW＝シーケンサ側からクリックを鳴らし、それを人が聴きながら、シーケンサのテンポに人が合わせこんでいくわけです。

人工知能とセッションできる「Duet with YOO」の体験イベントが開催中

いまや、それが当たり前のスタイルとなってはいますが、やはり「せっかくのライブが機械的になって残念」と思う方も少なくないでしょう。それはライブを見る側からしても、演奏する側からしても同様。やはりその場の盛り上がりや気分に合わせてテンポが変化したり、演奏内容も変化するというのがライブセッションの醍醐味でもありますからね。

先日行われた「Duet with YOO」の記者発表会。左がヤマハの前澤陽さん、右が博報堂アイ・スタジオの望月重太郎さん

そんな要望にコンピュータが応えてくれるとしたら、どうでしょうか？まだ実験的な段階ではありますが、そんなシステムがヤマハの研究部門で開発され、どんどん進化しているのです。まずは、このビデオをご覧ください。

お分かりいただけたでしょうか？これは、現在、東京・銀座にあるヤマハ銀座ビルの1Fで展示されている「Duet with YOO」というシステム。鍵盤が自動で動いて演奏されるこの機材はヤマハのDisklavier(ディスクラビア)。これはアップライトピアノに自動演奏装置を埋め込んだものであり、以前からある普通に販売されているシステムです。しかし、その裏側にパソコンがあり、ここで人工知能が動いているんですね。

「Duet with YOO」の基本的なシステム構成図

人がピアノの前に座ると、まずピアノが語り掛けてくれています。これに対して、ドの鍵盤を押す、ソの鍵盤を押すなどして、対話していくと伴奏がスタートします。ここまでは、単純にシーケンサによる演奏が始まった…というのに過ぎないのですが、それに人が演奏をしていくと、それに応じて伴奏が変化していくのです。

対話型での操作を行う

最初「ドドソソララソ…」と普通に弾くとそのままですが、「ファッ、ファッ、ミッ、ミッ、レッ、レッ、ドッ」とテンポをかけつつスタッカートで弾くと、伴奏がそれについてくるとともに、伴奏もちょっと跳ねた感じになっています。

人の演奏をリアルタイム判断しながらAIが伴奏を行っていく
さらに「ソーソーファーファーミーミーレー」と柔らかく、ゆっくり弾くと、それに合わせて伴奏も優しい感じのものになってくるんですね。またピアノの後ろ側にあるプロジェクションマッピングでの映像には、右側に演奏者を表す緑のキャラクタであるYOU、そして左側に人工知能の伴奏者を表す青のキャラクタYOOが表示され、これが演奏に合わせて動くようになっているんですね。

なかなか不思議な世界観であり、システム的にもかなり良くできている、と思いませんか？実は、このシステム、昨年秋に「ついに人と人工知能が一緒に演奏する時代に!? 「響け！ユーフォニアム」登場キャラと合奏を体験しよう」という記事でも紹介したものを、さらに発展させたものなんです。

AIシステムの開発を行っているヤマハの前澤陽さん

開発者であるヤマハ株式会社の研究開発統括部 第1研究開発部 音楽AIグループの前澤陽さんによると「DCエキスポで発表した際は、人間のテンポにAIが合わせるというシステムでしたが、今回お見せしたものは、テンポだけでなく、音の強さ、そしてデュレーションも見ており、これにマッチした演奏ができるようになっているのです」と説明してくれました。

ノーマル演奏のほかに4つの演奏パターンを用意し、人の演奏に合わせ、なめらかに切り替えていく

つまり人の演奏から、感情的なものまで読み取り、人とキャッチボールをするように、人工知能が演奏していく、ということなんですね。前澤さんによると、あらかじめ4～5パターンの伴奏シーケンスデータを用意しており、読みとった人の情報を元に、モーフィングさせるような形でパターンを切り替えていくそうです。

人の演奏の仕方によって、流れも大きく変わってくる

これに博報堂アイ・スタジオが作ったUI、映像を組み合わせて、より対話的な使いやすいシステム＝UXになっているのです。ちなみに、YOOというのは「ユー」と読むのですが、結であり、友、遊、雄、優、有、そしてYOUであるとのことです。

さまざまな意味合いを持って名付けられたYOO
さて、こうした人工知能のシステム、今後どのように発展していくのでしょうか？前澤さんにうかがってみました。

「より自然な演奏とはどういうものなのか、もっと解明していきたいと思っています。そうした中で、今回はベロシティやデュレーションを取り入れていったわけですが、今後はもっと高次元な表現、つまりespressivo(エスプレッシーヴォ)とかagitato(アジタート)といったものを解析して、それに合わせた動的シーケンスを生成することを目指したいと思っています」とのこと。

このAIシステムはまだまだ発展させていく、とのこと

さらに「演奏データだけでなく、MIDIシーケンスからモーションデータを生成するといったことも手掛けていこうと考えています。演奏って音だけでなく、動きというのも非常に重要な要素を持っていると思うのです。こうしたものを組み合わせていきたいです」と前澤さんは、まだまだこの人工知能を進化させていくようです。

ヤマハ銀座ビルの1Fの「Duet with YOO」のブース。取材した日はテレビ局などが詰めかけていた

現時点において、銀座で体験できる曲は、この「キラキラ星」のみ。その背景には、この「キラキラ星」のシステムを作るのに、膨大な数の演奏データを取り込んでいて、それを元に人の演奏状況を判断しているようですが、より簡単に多くの曲に適用できるようになってくると、大きな革命になってくるかもしれません。

「Duet with YOO」の体験イベントは銀座通りのヤマハ銀座ビルで5月22日まで開催中
まずは、この「Duet with YOO」がどんなものなのか、東京・銀座で体験してみてはいかがですか？
【関連情報】
Yamaha AI Project YOOサイト

【関連記事】
ついに人と人工知能が一緒に演奏する時代に!? 「響け！ユーフォニアム」登場キャラと合奏を体験しよう
人工知能を用いたドラム用の魔法のツール、accusonusのRegroover ProとDrumatomに驚愕！
マスタリングエンジニアの職が危うい!?人工知能搭載のOzone 8とNeutron 2の登場は革命かも!
話題の人工知能作曲システムAmper Musicはまともな作曲システムなのか？
人工知能プラグイン、Neutronはホントに使い物になるのか!?
あすか先輩もアドバイスしてくれる！ヤマハのiPhoneアプリ『ふこうよアンサンブル』が『響け！ユーフォニアム2』対応にバージョンアップだ！
『響け！ユーフォニアム』が無料のiPhoneアプリに！ヤマハの新技術で、自分の演奏を顧問の滝先生が厳しく評価してくれる