進化するYAMAHAのAIシステム。人のテンポ、強さ、ノリに合わせてセッションしてくれる
ライブステージに同期を用いているというケースは少なくありません。プロの大規模なステージではもちろんのこと、アマチュアバンドのライブなどでも、同期を用いることがかなりあるのはみなさんご存知のとおりです。DAWをステージに持ち込んで行うのか、もう少しシンプルなシステムで行うのかは、人によって、また演奏内容によっても異なりますが、楽器の演奏を伴う場合は、通常、DAW=シーケンサ側からクリックを鳴らし、それを人が聴きながら、シーケンサのテンポに人が合わせこんでいくわけです。
いまや、それが当たり前のスタイルとなってはいますが、やはり「せっかくのライブが機械的になって残念」と思う方も少なくないでしょう。それはライブを見る側からしても、演奏する側からしても同様。やはりその場の盛り上がりや気分に合わせてテンポが変化したり、演奏内容も変化するというのがライブセッションの醍醐味でもありますからね。
先日行われた「Duet with YOO」の記者発表会。左がヤマハの前澤陽さん、右が博報堂アイ・スタジオの望月重太郎さん
人がピアノの前に座ると、まずピアノが語り掛けてくれています。これに対して、ドの鍵盤を押す、ソの鍵盤を押すなどして、対話していくと伴奏がスタートします。ここまでは、単純にシーケンサによる演奏が始まった…というのに過ぎないのですが、それに人が演奏をしていくと、それに応じて伴奏が変化していくのです。
最初「ドドソソララソ…」と普通に弾くとそのままですが、「ファッ、ファッ、ミッ、ミッ、レッ、レッ、ドッ」とテンポをかけつつスタッカートで弾くと、伴奏がそれについてくるとともに、伴奏もちょっと跳ねた感じになっています。
人の演奏をリアルタイム判断しながらAIが伴奏を行っていく
開発者であるヤマハ株式会社の研究開発統括部 第1研究開発部 音楽AIグループの前澤陽さんによると「DCエキスポで発表した際は、人間のテンポにAIが合わせるというシステムでしたが、今回お見せしたものは、テンポだけでなく、音の強さ、そしてデュレーションも見ており、これにマッチした演奏ができるようになっているのです」と説明してくれました。
ノーマル演奏のほかに4つの演奏パターンを用意し、人の演奏に合わせ、なめらかに切り替えていく
つまり人の演奏から、感情的なものまで読み取り、人とキャッチボールをするように、人工知能が演奏していく、ということなんですね。前澤さんによると、あらかじめ4~5パターンの伴奏シーケンスデータを用意しており、読みとった人の情報を元に、モーフィングさせるような形でパターンを切り替えていくそうです。
人の演奏の仕方によって、流れも大きく変わってくる
これに博報堂アイ・スタジオが作ったUI、映像を組み合わせて、より対話的な使いやすいシステム=UXになっているのです。ちなみに、YOOというのは「ユー」と読むのですが、結であり、友、遊、雄、優、有、そしてYOUであるとのことです。
さまざまな意味合いを持って名付けられたYOO
さらに「演奏データだけでなく、MIDIシーケンスからモーションデータを生成するといったことも手掛けていこうと考えています。演奏って音だけでなく、動きというのも非常に重要な要素を持っていると思うのです。こうしたものを組み合わせていきたいです」と前澤さんは、まだまだこの人工知能を進化させていくようです。
ヤマハ銀座ビルの1Fの「Duet with YOO」のブース。取材した日はテレビ局などが詰めかけていた
現時点において、銀座で体験できる曲は、この「キラキラ星」のみ。その背景には、この「キラキラ星」のシステムを作るのに、膨大な数の演奏データを取り込んでいて、それを元に人の演奏状況を判断しているようですが、より簡単に多くの曲に適用できるようになってくると、大きな革命になってくるかもしれません。
「Duet with YOO」の体験イベントは銀座通りのヤマハ銀座ビルで5月22日まで開催中
【関連情報】
Yamaha AI Project YOOサイト
【関連記事】
ついに人と人工知能が一緒に演奏する時代に!? 「響け!ユーフォニアム」登場キャラと合奏を体験しよう
あすか先輩もアドバイスしてくれる!ヤマハのiPhoneアプリ『ふこうよアンサンブル』が『響け!ユーフォニアム2』対応にバージョンアップだ!
『響け!ユーフォニアム』が無料のiPhoneアプリに!ヤマハの新技術で、自分の演奏を顧問の滝先生が厳しく評価してくれる