Apple Watchで心拍を検出し、感情にマッチした音楽を自動作曲。クリムゾンテクノロジーがiPhoneアプリ、AImeloを無料リリース

AI作曲にAIマスタリング、AIミックス、AI歌声合成……とDTM界にもAIが登場するケースが増えてきていますが、またAIを用いたユニークなサービスが誕生しました。今回登場したのはiPhoneとApple Watchを使ってAIが自動作曲をするAImelo(アイメロ)というアプリ。なんと心拍を測定した上で自分の脳に心地いいAI自動作曲音楽を、リアルタイムに提供してくれるというのです。

開発したのは、以前「VTuberに超強力兵器が誕生!リアルタイムに自分の声をキャラクタボイスに変換できるソフト、Voidolが発売開始!」といった記事で取り上げたことのあるクリムゾンテクノロジー。すでに昨年よりAI作曲をビジネス分野で手掛けていたのですが、この度、一般ユーザーに向けて無料でリリースされたのです。これまでにない、かなり実験的なユニークなサービスですが、これがどんなものなのか、紹介してみましょう。

Apple Watchで心拍を測定した上で、自分の脳に心地よい曲をAIが自動作曲してくれるシステムAImemoがリリース

このAImelo、機能としてはとってもシンプルなアプリです。予め簡単な設問・アンケートなどに答えた上でApple Wachを腕に装着。その上で、「なりたい気分」を設定すると、いまの自分の感情にマッチした音楽がその場で自動作曲され、iPhoneから再生されるというものなのです。

「どうして、そんなことができるの?」、「いったい何をやってるの?」、「iPhoneが作曲したわけ?」、「AIにまともな音楽など作れるの?」……と疑問もいっぱいだと思います。本日より入手可能になったiPhoneアプリなので(Androidの予定は現時点ではないとのこと)、まずは入手して試してみるのがよさそうではありますが、もう少し仕組み的なところも含めて見ていきましょう。

Voidolでおなじみの音宮いろはがナビゲーションしてくれる

このアプリのナビゲーションをしてくれるのは前述のボイス変換ソフトのVoidolで誕生したキャラクター、音宮(おとみや)いろは。音宮いろはの指示にしたがっていけば、誰でも簡単に使えるアプリなのですが、そこで用いられているのが、クリムゾンテクノロジーbrAInMelody(ブレインメロディー)という技術。

brAInMelodyの基本的概念図

「これは脳波や心拍、血圧、音声……といったバイタルセンシングデータを用いて、ユーザーのメンタル状況を把握し、そのメンタル状況に応じたサウンドを自動作曲するというシステムです。私たちはこれをマインド・ウエルネス・ソリューションと呼んでいますが、今回リリースしたAImeloはそれをiPhoneとApple Watchという組み合わせで実現しました。たとえば落ち込んだり、気持ちが沈んだときに、ちょっとテンションを上げて元気になりたい……そんな曲をAIが作り出すのです」と話すのはクリムゾンテクノロジー株式会社の代表取締役、飛河和生さん。

クリムゾンテクノロジー株式会社の代表取締役、飛河和生さん

対応しているのはApple Watch 4および5。とはいえ測定するのは心拍だけなので、動作保証対象外となっていますが、Apple Watch 3でもおそらく動作するとのことでした。とはいえ、Apple Watchは持ってない……、と思っている人も少なくないと思います。

実はApple Watchがない人でも使えるようになっているのもAImeloの面白いところ。心拍測定の代わりに、作曲され、演奏された楽曲を聴いたうえで、それを「気に入ったか」、「リラックスできたか」などをアンケート形式で答えることで、代用できるようになっているのです。

アンケートに答える形で自動作曲の準備を整える

その作曲においてはMIDIが用いられているので、演奏される楽曲はインストゥルメンタルとなります。iPhoneから情報をクラウドに送り、即自動作曲されたものをダウンロードした上で、演奏という流れになっています。

Apple Watchで心拍を測定し、その状況を元に作曲を行う(※iPhone画面は開発中に撮影したβ版です)

「脳波や脈拍、心電などを使いながら感情を抽出するのですが、そのこと自体は科学的にも立証されている手法を用いています。また音楽を聴いたときに覚醒するか、快不快をどう感じるかなどを見た上で、自動作曲するようにしていますここでは枠組み、モチーフ、和音進行、リズム、メロディーなどを組み立てているのですが、その中枢となる自動作曲には、東京都市大学のメディア情報学部情報システム学科教授の大谷紀子先生による、遺伝的アルゴリズムを用いています」と同社AIエンターテインメント事業部・副部長の佐藤格之さん。

クリムゾンテクノロジー AIエンターテインメント事業部・副部長 佐藤格之さん

私もちゃんと理解はできていないのですが、大谷先生による遺伝的アルゴリズム、いろいろな組み合わせをして何万通りの曲を作る中、良い特徴をもったもの同士の組み合わせに絞っていくのだとか……。その上で、音楽的にあり得ない組み合わせをフィルタリングしていくことで、毎回違う楽曲を生成するそうなのです。

遺伝的アルゴリズムを用いた自動作曲

昨年、その大谷先生にAV Watchの連載・Digital Audio Laboratoryでインタビューしたことがあるので、興味のある方は「AIだからできる自動作曲とは? 企業の『AIサウンドロゴ』作り方を聞いた」もご覧になってみてください。

「で、実際、どんな曲ができるんだ?」という方も多いはず。私の手元のiPhoneに演奏させた例のいくつか並べてみたのがこちらです。

いかがですか?感想はいろいろだと思います。「これを聴いて、人が感動するのか?」といわれると、なかなか厳しそうに思うし、「人間の作曲家のほうが、まだまだAIより上だな」なんて安心してしまう面もあるわけですが、この点について、飛河さんに伺ってみました。

準備が整ったら作曲スタート

「AImeloによって自動作曲される音楽は、音楽として楽しむものとはちょっと違うのです。耳で聴いて楽しむというわけではなく、脳が聴く音楽というのでしょうか…。人間が好き嫌いを判断する場合、これまでに聴いた音楽が基準になってきます。でも、そのことはいったん取っ払っていただきたいのです。これは脳に直接問いかけていて、脳が心地いいと反応する曲を生成しているのです。ただし、脳が心地よいと反応しても、本人は好きでない、と感じることもあるようで、好き嫌いとは別の次元なんですよ」と飛河さん。

作曲された楽曲を聴いての印象を答える形でフィードバックさせる

「東京大学で開発されたAIによる自動作曲システム、Orpheusがよく引き合いに出されるのですが、brAInMelodyはOrpheusとはまったくアプローチが異なるのです。Orpheusの場合、既存の音楽らしさを追求し、いかにも人が作曲したような楽曲を作り出すことを目的にしているのに対し、brAInMelodyは従来とはまったく、脳がどう反応するかに着目した未来の音楽とでもいうのでしょうか…」と佐藤さん。

なかなかどう評価していいか分からない面はありますが、脳が心地いと反応するのだとしたら、この引きこもりの毎日の中、ちょっとイライラを鎮める……といった目的に使えるのかもしれませんね。

brAInMelodyが目指す市場

「今後、brAInMelodyをさまざまな形で発展させていきたいと思っており、ヘルスケア市場などを狙っていきたいと考えています。一方で、すでにスタートさせているビジネスとしては、社員全員の思いをまとめてサウンドロゴを作るというサービスを行っています。実際、フコク生命のサウンドロゴを人工知能作曲するなど、実例もいくつか出てきており、喜んでいただいています。もしご興味があれば、すぐに実現させることも可能なので、ぜひ当社までお問合せください」(飛河さん)

まずは、このAImelo、iPhone用の無料アプリなので、一度試してみてはいかがですか?

【関連情報】
AImelo製品情報
brAInMelody情報
【ダウンロード】
AppStore ⇒ AImelo

【関連記事】
VTuberに超強力兵器が誕生!リアルタイムに自分の声をキャラクタボイスに変換できるソフト、Voidolが発売開始!
VTuberのための悪魔のアイテム、VoidolがついにWindowsに対応。標準搭載のイケメンボイスの新キャラクタも追加に
VTuberのための悪魔のアイテム、Voidolに新キャラ12種類が追加。自分の声を佐藤聡美さんや小岩井ことりさんに変身!
AIだからできる自動作曲とは? 企業の『AIサウンドロゴ』作り方を聞いた(AV Watch)

モバイルバージョンを終了