スポンサーリンク

どんな曲でもAIでカラオケ化、歌えばリアルタイムに“ケロケロ声”に!元m.o.v.eのMOTSUさんがiOSアプリ「MoTune」リリース。無料のDAWプラグインも

この記事は約18分で読めます。
この記事にはアフィリエイトなどPRが含まれています

「Gamble Rumble」「around the world」「DOGFIGHT」など、アニメ「頭文字D」シリーズの主題歌で広く知られたユニット、m.o.v.e。そのMC/ラッパーだったMOTSUさんが、DeeJei.Tokyoの名義でソフトウェア開発を続けていることは、5月の全自動VJアプリ「OneManVJ」の記事、「元m.o.v.eのMOTSUさん、曲を自動認識し映像同期する世界初ポン出しVJソフト、OneManVJを発売」でも紹介した通りです。

そのMOTSUさんが、自作アプリ第2弾を9月4日(金)12:00にリリースしました。今回のテーマは「歌声」。好きな曲を取り込むだけでAIがカラオケ化。それを再生しながら歌うと、原曲の音程カーブに合わせて自分の声を”ケロケロ”にリアルタイム補正できる、というiOSアプリ「MotTune」(モッチューン)。さらには完全無料・追加レイテンシーゼロを謳うDAWプラグイン「MotTune MIDI」の2本立てです。Auto Tuneで一世を風靡したケロケロボイスですが、ソフトだとどうしてもレイテンシーが大きくなってしまうし、ステージで使うとなると、取り回しが難しいのも事実。それをMOTSUさん開発のMotTuneを使えば、簡単に実現でき、レイテンシーもほとんどなく使えるという優れもの。どうして、アーティストでありDJであるMOTSUさんが、そんなソフトを開発することになったのか、実際にどようにして実現したのかなど、気になることもいっぱい。そこでMOTSUさんのスタジオにお邪魔して話を伺ってきました。

元m.o.v.e.のMOTSUさんがOneManVJに続き、MoTuneを開発し、リリースした

スポンサーリンク
スポンサーリンク

「AtoA」は現実になった

OneManVJのインタビューのとき、MOTSUさんは「これはBtoCでもBtoBでもなく、Artist to Artist、つまりAtoAだと思う」と話してくれました。この言葉がずっと印象に残っていたのですが、そう思っていた矢先、元LOVE PSYCHEDELICOやSimple Mindsなどでも知られるドラマー・屋敷豪太さんが、自身のドラムプラグインをリリースするというニュースが飛び込んできました。まさにAtoA的な動きが、また一つ形になった瞬間です。この話をMOTSUさんにぶつけてみました。

ーー豪太さんのドラムプラグイン、発表されましたね。前回のインタビューでMOTSUさんがおっしゃっていた「AtoA」って、まさにこういうことだったんだなと思ったんですが。
MOTSU:あれ、本当に響いたんですよね。BtoCでもBtoBでもなく、アーティストがアーティストのために作る。今回のMotTuneも、まさにその第2弾のつもりで作りました。アーティストの方が、現場で何が足りないかを一番わかっているので、そういう人が自分でツールを作れるようになったのは、すごく大きい変化だと思っています。

MoTuneは、MOTSUさんがAIを駆使しながら一人で開発したアプリ。AppStoreから発売された

ーーそういう意味では、豪太さんのような方が次々と出てくる流れは、これからも続きそうですね。
MOTSU:そう思います。使い方や、何が現場で必要とされているかを一番知っているのはユーザーであり、同時に開発者でもある人。そういう人が一番強いはずなんです。僕自身、毎日感じているペインを解決したくてOneManVJを作りましたし、今回のMotTuneも同じですね。

MotTuneはどんなアプリなのか

さっそく、今回の主役であるMotTuneについて、実際の使い方を追いながら聞いていきましょう。

ーー今回のMotTuneは、どんなアプリなんですか?
MOTSU:スマホの中にWAVやMP3などで曲を取り込むと、自動でオケと歌に分割するんです。それと同時に、お手本となる歌の音程を自動で解析してピッチの動きをピアノロール化してくれます。その準備ができたら、そこに自分の声で歌って録音していくと、リアルタイムにケロケロ声にすることができるんです。ケロケロからナチュラルな補正まで、自由に調整できるのがMoTuneの特徴です。取り込みも解析も補正も、すべて端末の中だけで完結していて、通信は一切ありません。曲がどこかにアップロードされることもないんです。

MoTuneの起動画面

ーー無料でどこまで使えるんですか?
MOTSU:2曲までは完全無料で、全機能が使えます。それ以上は曲数無制限のサブスクで、月額480円か年額2,980円で利用することが可能で、7日間の無料お試しもつけています。

ーーサブスクに抵抗がある方も結構いますよね…
MOTSU:サブスクが苦手な方向けに、買い切りも用意していて、税込7,800円。発売記念として9月4日から9月27日までは4,500円にする予定です。これであれば、今後追加費用は一切かからず、ずっと使うことが可能です。

曲を取り込む

ーーまず、曲を取り込むところから教えてください。
MOTSU:曲ライブラリーの画面から、スマホの中に入っている曲を選んでもらうだけです。選ぶと自動で解析が始まって、オケとボーカルに分離しつつ、ボーカルの音程も同時に解析していきます。分離が終わると、音程が線に、音の塊が帯になって表示されるので、それを見ながら「ここまでAIができるようになったんだ」って驚いてもらえるとうれしいですね。

iPhone内でもiCloudやDropboxなどからWAV、MP3、AACなどの曲データを取り込める

ーーここ、実は結構待たされますよね。
MOTSU:そうなんです、そこは正直に弱点として伝えておきたくて。クラウドを使わず、AIをまるごとスマホの中に入れて処理しているので、機種によっては再生時間の4〜5倍くらいかかります。2分の曲なら10分くらいですね。フルに演奏させている状態なので、スマホもけっこう熱くなります。ここはもうひたすら待ってもらうしかないところです(※このあと触れますが、最新のiPhone 17世代ではここが大きく改善されています)。

最初の取り込み時に解析が行われるので機種にもよるが、そこそこの時間がかかる

自分の声を録音する

ーー曲の取り込みが終わったら、次はどうするんですか?
MOTSU:取り込んだトラックに合わせて、自分の声を録音していきます。ここは有線のイヤホンかヘッドホンを使ってください。Bluetoothのイヤホンだと遅延がかなり大きいので、録音しにくいんです。マイク付きのヘッドホンをつけていても、アプリが自動でそのマイクをキャンセルして、スマホ本体のマイクを使う仕組みにしています。スマホのマイクの方が、ヘッドホンのマイクより高性能なことが多いので。

解析が終わったら、カラオケに合わせて自分の歌を録音していく

ーー録音するときに、気をつけたほうがいいことはありますか?
MOTSU:入力レベルのメーターを見ながら録ってほしいですね。レベルが大きすぎて音が歪むと、補正がかかりづらくなってしまうので。あと、元の音を右に振って自分の声を左に振る、みたいなパン設定もできるので、レコーディングっぽいバランスの取り方も可能です。自分の声を大きめに聴きたい、原曲と半々くらいで聴きたい、みたいな好みに合わせて調整できます。

ーーわざと音程を外して歌う、みたいな話もありましたよね。
MOTSU:そうなんです。ケロケロにするときって、わざと音程をめちゃくちゃ外したところで歌うと、逆にデジタルっぽい味が出て面白い効果になることがあるんですよ。リズムだけ正確に合わせて、音程はあえて外す。慣れてきたら、ぜひ試してみてほしいテクニックです。

仕上げて共有する

ーー録ったあとの仕上げはどんなことができるんですか?
MOTSU:イコライジングもできますし、ボーカルエフェクトも用意していて、ビットクラッシャーみたいな効果もかけられます。気に入ったら、そのままの設定で書き出して、友達に送ったり共有したりできます。

オケ用、ボーカル用に10バンドのグラフィックイコライザも搭載されている

各種エフェクト設定も可能になっている

スマホだけでライブをする

ーー録音した曲は、そのままライブでも使えるんですよね。
MOTSU:ホームに戻って、ライブリストで曲を選んで曲順を並べれば、スマホ一つでケロケロライブができます。曲ごとの補正のかかり具合やボリュームは、再生画面で自分が歌いやすいように、あるいは人に聴いてもらいたいバランスに設定したものが、そのままライブリストに反映される仕組みです。曲ごとにモニターバランスを変えるのって、プロの機材を使っていないと意外と面倒なことになりがちなんですけど、それをアプリの中で一発で決められるようにしました。

ーーライブで音を出すときは、何か機材が必要になるんですか?
MOTSU:PA卓につなぐには、オーディオインターフェースが一つあるといいですね。安いものだと6,000円くらいからAmazonなどにもあります。もっと手軽にやりたければ、イヤホンを二股にする数百円のアダプターで、片方を自分のイヤホン、もう片方をPAにつなぐという力技もあります。まずはそのくらいの投資で試してみるのもありだと思います。あと、イヤホンをつけずに録音しようとすると、ハウリング防止のアラートが出る仕組みにもしています。

ピッチガイド編集とボイスチェンジャー、対応環境

録音した音の音程を細かく編集する「ピッチガイド」画面については、次の章で詳しく紹介しますが、MotTuneにはもう一つ、おまけ的な機能としてボイスチェンジャーも搭載されています。

ーーボイスチェンジャーは、どういう位置づけの機能なんですか?
MOTSU:これは2曲の制限とは関係なく、無制限に使える機能にしています。SNSの一発ネタとか、配信のちょっとした遊びで使ってもらえたらいいなと思って入れました。

変声などにできるボイスチェンジャー機能も装備されている

ーー対応環境についても教えてください。
MOTSU:iPhoneとiPadに対応していて、10言語対応です。分離も解析も補正もすべてオンデバイスなので、電波がない場所でも動きますし、声を外に出したくなければ、外に出ることは一切ありません。Androidは、機能的にはほぼできているんですけど、2026年8月の段階ではまだ制作中です。状況を見ながら進めていきたいと思っています。

iPhone 17 Proなら、超高速にデータ取り込みが可能

実は今回の取材にあたり、筆者もベータテスターとしてMotTuneを試させてもらっていました。ところが、手元のiPhone 17 Proでは、曲を取り込もうとすると解析が始まった瞬間にアプリが落ちてしまうという不具合に遭遇。これをMOTSUさんに報告したところ、無事に解決に至ったといういきさつがあります。

ーー実は取材の前に、ベータ版を試させてもらっていたんですが、私の持っているiPhone 17 Proだと曲の取り込みがうまくいかなかったんですよ。
MOTSU:そうなんですよ、あれは焦りました。原因を調べてみたら、A19という17世代のチップで、一時メモリの上限を処理の途中で一瞬だけ超えてしまっていたんです。それが原因で落ちていました。藤本さんに教えてもらっていなかったら、リリース直後に盛大に事故るところでした。

ーー実は改めて今のバージョンで試してみたら、iPhone 17 Proだとほぼ再生時間と同じくらいの速さで取り込みが終わって驚いたんですが、あれはどういうことなんでしょうか?
MOTSU:修正のために17世代の実機を借りてきて試してみたんですけど、A19チップがかなり速くなっていて、これだとほぼ実尺で処理できることがわかったんです。ただ、その分前の世代とは仕組みがかなり違っていて、読み込み時に扱うデータのサイズも大きくなっていた。それでメモリの上限を超えてエラーになっていた、というわけでした。本番公開の前に見つけられて、本当によかったです。

なお、iPhone 17世代以外の機種では、取り込みに再生時間の4〜5倍ほどかかるとのこと。2分程度の曲であれば10分前後というイメージです。クラウドを使わず、すべてをスマホの中で処理しているための時間で、解析中はスマホがかなり発熱するそうです。

ピッチガイド編集と「.mo2」、そして「ドットモツ」という名前

ーー録音したあと、音程を編集する画面がありますよね。あれはどういう仕組みなんですか?
MOTSU:録音したデータの、元の歌の音程情報を編集する画面ですね。ここは完全に非破壊編集になっていて、音程が線に、音の塊が帯になって表示されます。初心者の方には、まず一括で自動分割して補正MAXにしてもらえれば、それだけでケロケロになります。そこからさらに踏み込みたい人は、帯を一つずつドラッグして上げ下げしたり、ハサミで切ったりできる作りにしました。

取り込んだボーカルはピッチガイドとしてピアノロール化されているが編集も可能

ーー帯を細かく編集する機能も充実していますね。
MOTSU:帯を一つ選ぶと、対応する自分の声が再生されるので、それを聴きながら一つずつ補正の具合を決めていけます。ただ、ここには一つトラップがあって、自分の声のフェーダーが上がっていないと音が出ないんです。そこにそもそも自分の声が録れていない場合も、押しても何も聴こえません。気をつけてもらいたいポイントですね。分割したいところはハサミのマークを選んで、切りたい位置を長押しして離せば切れます。逆に、波形はあるのに帯が作られていない箇所は、プラスボタンで新しく帯を作ることもできます。

ーー解析の精度で、まだ課題に感じている部分はありますか?
MOTSU:正直、プロのピッチ補正ソフトに比べるとまだ荒いところはあります。元の音は入っているのに帯が作られない箇所が残っていたり、ラップのように音程があいまいな声だと、帯が作られにくいことが多いんです。ここは今後の改善課題として、引き続き詰めていきたいと思っています。普通に歌っている音であれば、ほぼきちんと解析できるようになっています。

ーーこのデータ、他の人とやり取りもできるんですよね。
MOTSU:そうなんです。この線と帯のデータを、独自形式の「.mo2」というファイルで書き出したり読み込んだりできるので、ユーザー同士で共有できます。同じ曲のメロディラインを、別の人が編集したバージョンをやり取りする、みたいなことができるんです。

ピッチガイドの編集結果は、mo2データとして保存したり、読み込むことも可能

ーーこの「.mo2」というネーミング、面白いですね。
MOTSU:これも開発しながらAIとやり取りしている中で出てきたアイデアで、この線と帯のデータだけをまとめてやり取りできる仕組みがほしいと相談したら、名前をどうしましょうかという話になって。「ドットモツ」ってどうですかね、と提案してもらったんです。エゴ丸出しなんですけど、他で使われていない名前だったので、そのまま使わせてもらいました。

MIDIの読み込み・書き出しにも対応しているので、DTMをやっている人であれば、Cubaseなどで打ち込んだメロディラインをそのまま持ち込むこともできます。

相棒はDAWプラグイン「MotTune MIDI」

MotTuneと同時にリリースされるのが、DAW用のプラグイン「MotTune MIDI」です。VST3とAudio Units(AU)の両方に対応し、WindowsとmacOSのどちらでも動作。しかも完全無料・登録不要で公開されます。

ーーMotTune MIDIの一番の特徴は何ですか?
MOTSU:追加レイテンシーがゼロというところです。だいたいのピッチ補正プラグインは、先読みのために音を少し遅らせるんですけど、それをやると歌いながらモニターしたときに自分の声が遅れて返ってきて、すごく歌いにくいんですよ。MotTune MIDIは先読みバッファを一切使わない設計にしているので、歌いながらその場で気持ちよくモニターできます。ライブで使うことを一番に考えました。

MOTSUさんがフリーウェアとして公開したプラグイン、MoTune MIDI

ーーその分、何かトレードオフはあるんですか?
MOTSU:正直に言うとありますね。補正を100%にしてリアルタイムで使うと、スタジオモードに比べてザラつきが出ることがあります。未来の音は誰にも計算できないので、そこは仕組み上仕方がない部分で、音質のなめらかさよりもライブで気持ちよく歌える方を優先したトレードオフです。普段はみんなセーフティを作ってこうならないようにするものだと思うんですけど、それを思い切って取っ払ったプラグインです。

StudioモードとReal Timeモードを切り替えられる

ーーボコーダーもついているんですよね。
MOTSU:自分の曲でケロケロにするとき、ボコーダーをうっすらユニゾンで鳴らすことがあるんですよ。そうすると音程の角がより鋭角になるので、それをそのまま実装しました。バランスつまみで声とボコーダーの混ざり具合を調整できて、僕はBalance A-Bつまみを49くらいがちょうどいいケロケロになると思っています。

かなり劇的に歌声を変化させられるボコーダー機能も搭載

ーーMIDI入力にも対応しているとのことですが。
MOTSU:MIDI INPUTをオンにすると、弾いた鍵盤の音程に声がそのまま吸着します。オフにすると、代わりにメジャー、マイナー、ペンタトニック、ブルースの4つから調を指定できるようにしました。細かい音楽理論のモードまで並べても正直あまり使わないと思ったので、この4つに絞っています。あと地味に気に入っているのが、Undo/Redoをちゃんとつけたところです。プラグインって、意外とこの機能がついていないものが多いんですよ。設定を何度も保存しすぎて、前の状態に戻したくなることってよくあるので、これは絶対欲しい機能でした。

MIDI Inputをオフにするとキー、スケールを固定でき、オンにするとMIDIトラックから指定可能になる

MotTune MIDIは、iOS版のMotTuneと同じエンジンを使っているとのこと。DAW側でメロディラインを打ち込んでからスマホに持っていく、といった使い方も今後試してみたいそうです。

なぜコードを書かずに作れたのか

ーー今回のMotTune、コードは本当に一行も書いていないんですか?
MOTSU:本当に一行も書いていないですね。OneManVJのときはUnityを使っていたので自分でコードを触っていたんですけど、今回は完全に対話だけで作りました。エンジン部分はC++、それ以外はPythonで、という組み合わせもAIに提案してもらった形です。

ーー具体的にはどんな技術を組み合わせているんですか?
MOTSU:ボーカルと伴奏の分離にはMDXとMDX-Free、音程の検出にはCREPEというオープンソースのモデルを使っています。CREPEはサイズ違いがいくつかあるんですけど、一番小さいものを選びました。そこにピッチシフトのPSOLAを組み合わせて、という感じですね。こういう組み合わせを、AIとのやり取りの中で一つずつ確認しながら決めていきました。

ーー開発でいちばん大変だった部分はどこでしたか?
MOTSU:音質のすり合わせですね。こういう組み合わせでやってみましょうと言われて試すと、理論上はAIが「こっちの方がいい」と言うんですけど、実際に聴いてみると人間の耳にはノイズが気になる、ということがよくあるんです。AIにはそれがわからないので、こっちのこの音がまだ気になる、じゃあこう直しました、みたいなやり取りをひたすら繰り返しました。ここだけは人間が耳で聴いて判断するしかない部分で、1週間くらいかかりましたね。

ーー使っていたのはどのAIなんですか?
MOTSU:Claude Fable 5です。それまでインターフェースくらいまでは別のモデルで進めていたんですけど、Fable 5が使えるようになったタイミングで戻ってきて、そこから一気に進みました。OneManVJのときはコードも自分で書いていましたけど、今回は本当に対話だけで、これだけのものが作れてしまうんだなと自分でも驚いています。

なぜMotTune MIDIは無料なのか

ーーMotTune MIDIは機能的にも本格的なのに、なぜ完全無料にしたんですか?
MOTSU:プラグインの世界って、先端に行けば行くほどシェアする文化があるんですよね。僕自身、そういう文化にすごく恩恵をもらってきたので、恩返ししたいという気持ちが大きいです。それに個人開発なので、かかっているのは自分の余暇の時間だけなんですよ。釣りやパチンコに使う時間と同じようなものなので、無料で出すハードルはそんなに高くありませんでした。

ーー一方でMotTuneのアプリの方は課金があるんですね。
MOTSU:そこは自分の主戦場でもあるプラグインとは分けて考えています。OneManVJもそこそこ売り上げが出ているので、今回も同じくらいの感覚でやろうと思いました。サブスクを嫌う人も一定数いるので、そこは買い切りも用意して、両方選べるようにしています。

海外展開と今後の展望

ーー今回、10言語対応もされていますよね。
MOTSU:OneManVJのときも、実はユーザーの2割くらいが海外の方だったんです。あちらはVJソフトなので言語の壁があまり関係なかったんですが、今回のMotTuneは説明が多いアプリなので、多言語対応は必須だと思っていました。英語版の解説動画も別に用意していて、海外にもしっかりアピールしていきたいと考えています。

ーー今後、さらにどんな機能を考えていますか?
MOTSU:3Dの方向で機能を広げていきたいと思っています。取得した曲名を3Dテキストにして空間で動かしたり、そういう仕組みを組み込めたら、メジャーアップデートになるはずです。基本的な機能改善は無料で提供していく予定ですが、そのくらい大きな追加があれば新バージョンとして扱うかもしれません。

9月4日、iOSアプリとプラグインが同時リリース

以上、元m.o.v.eのMOTSUさんが自作した、アプリ第2弾「MotTune」「MotTune MIDI」について、開発秘話を交えて紹介してきました。iPhoneアプリのMotTuneは2曲まで無料、DAWプラグインのMotTune MIDIは完全無料。9月4日(金)12:00の同時リリースとなります。気になった方は、ぜひこの機会に試してみてはいかがでしょうか。

【関連記事】
▶ 元m.o.v.eのMOTSUさん、曲を自動認識し映像同期する世界初ポン出しVJソフト、OneManVJを発売

【関連情報】
MotTune / MotTune MIDI 公式サイト

【価格チェック&購入】
◎App Store ⇒ MoTune

この記事を書いた人

DTM、デジタルレコーディング、デジタルオーディオを中心に執筆するライター。インプレスのAV WatchでもDigital Audio Laboratoryを2001年より連載。「Cubase徹底操作ガイド」(リットーミュージック)、「ボーカロイド技術論」(ヤマハミュージックメディア)などの著書も多数ある。趣味は太陽光発電、2004年より自宅の電気を太陽光発電で賄うほか、現在3つの発電所を運用する発電所長でもある。

藤本 健をフォローする
iPad/iPhoneエフェクト

コメント