30年かけて育てた自動耳コピ「WaoN」がiOS/Macアプリに！AI時代にあえて挑む、0倍速でも音が鳴り続ける「わおん」

開発者・市來健吾さんに聞く、WaoNの30年とAI時代の自動採譜

ここからは、わおんを開発した市來健吾さんへのインタビューです。

わおんを開発した灰泥屋の市來健吾さん

ーーまずは市來さんの本業から教えていただけますか？

市來：直近の15年ほどは、プログラマーとして仕事をしてきました。その前は研究者で、物理の分野でコンピュータシミュレーションを主に使う世界にいました。博士課程まで進み、そのまま大学などの研究所で10年くらい研究をしていたんです。アカデミアでのキャリアにいったん区切りをつけたとき、プログラミングができたので、結果的にプログラマーになったという流れです。

ーーお仕事のテーマは音楽ではなかったのですね。

市來：仕事のほうは研究開発的な部分で、ターゲットは画像処理などが中心でした。ここ7年ぐらいはAIが盛り上がってきたこともあり、早いうちからAIの研究開発にも携わっています。

ーーでは、WaoNはそうしたお仕事とは別のところから生まれたものなんですね。

市來：キャリアよりずっと前、大学に入った直後くらいの話です。もともと音楽が好きで、子どものころピアノを少しだけ習ったのですが、すぐにやめてしまって。それでも音楽は好きで、とくにコード、ハーモニーがすごく素敵だなと思うのに、聴いても自分ではなかなか取れない。それが子どものころからずっとモチベーションとしてありました。一方でコンピュータは小学生のころから家にあったので、コーディングにはずっと親しんでいたんです。大学に入って数学を学ぶと、周波数さえ取れればいいという話なので、プログラムでメロディだけでなくハーモニー、つまり複数の音を取れるはずだろうと始めたのがきっかけです。

ーー小学生のころのコンピュータというのは何だったんですか？

市來：父親がいきなり買ってきた、シャープのMZ-80Bです。それを買う前も電気屋さんの展示機で、小学生がキーボードを独占してBASICでプログラムを書き換えたりしていました（笑）。大学に入ったころはもうPC-98の世界で、ローランドの音源と組み合わせてDTMにハマったという世代ですね。

ーーMZ-80Bが出たのが、ちょうど私が高校1年生のときでした。当時はシャープ派とNEC派に分かれていて、私はPC-8001でプログラミングしていましたね。WaoNを最初に公開したのはいつごろですか？

市來：最初にSourceForgeで公開したのが97年ごろだったと思います。初期のバージョンは、FFTをかけただけのようなものでした。

ーーそんなに昔なんですね。もう30年近くになるわけですね。

市來：そうなんです。自分でもびっくりしますが、ずっと連続して開発していたわけではなく、ときどきふと思いついて触る、ということが30年の間に2、3回あった感じです。

位相情報を使って低音の音程を補正する

ーーFFTを使えば、どの周波数にピークが立っているのかは大昔から解析できました。でも、すべてがサイン波でできている音楽ならともかく、実際にはいろいろな音が混ざっていて、あちこちにピークが出てくるため、どれが本当のノートなのかわからない。基本周波数を特定するのがものすごく難しく、結果としてあまり使いものにならない……というのが、これまでの自動採譜だったと思います。WaoNはどうやってここまで来たのでしょうか？

市來：おっしゃるとおりで、手垢のついた古い技術なんです。スペクトルを見てピークが立っているのは倍音ですし、楽器や声によってフォルマントや倍音の出方も違う。倍音をどれぐらい除くのかは、かなり恣意的、人為的なアルゴリズムだと思います。そこは試行錯誤しながら倍音を消していき、低いほうからピークを取っていくというのがベースです。それ以上のところは、プログラムに与えるパラメータを可変にしておいて、オープンソースなので、あとはみんな頑張ってね、というスタンスでした（笑）。

ーーその中で、大きなブレイクスルーになったのは？

市來：フェイズボコーダー、つまり位相の情報を使ったことです。FFTは周波数をリニアに刻んでいるので、高音と低音でスケールがまったく違うんです。低音域では1つのビンの幅が相対的に大きくなってしまい、音楽は半音単位で取りたいのに、3音くらいが1つのビンに入ってしまうような状況で、手も足も出ない。ところが位相を使った補正をすると、本当の周波数がビンの中心からどれくらいずれているかを数値として出せるんです。これで補正すると、ベースのように和音ではなく1音でウロウロしているところが、かなり正しく補正されるんですよ。これは経験的にも、1つのブレイクスルーだったと思っています。

ーーそもそも、なぜ位相に着目したのですか？

市來：FFTは可逆変換なのに、パワースペクトルでは半分の情報しか使っていないのはおかしいよな、とずっと思っていたんです。捨てている位相の部分も使えるじゃん、というのが面白いなと。フェイズボコーダー自体にも興味があって実装していたので、そのアイデアを周波数の補正に使えると思ったわけです。教科書にはあまりあからさまに書かれていない話だと思います。WaoNに組み込んだのは2007年ごろだったと記憶していますが、アイデア自体は2000年ごろからありました。

※補足：たとえばサンプリングレート44.1kHzの音を4,096ポイントでFFTすると、1つのビン（周波数の区切り）の幅は約10.8Hzになります。一方、ベースの音域であるA1（55Hz）とその半音上のA#1との差はわずか約3.3Hz。つまり低音域では、1つのビンの中に3つ以上の半音が収まってしまうわけです。フェイズボコーダーの手法では、連続するフレーム間での位相の変化量から、ビン中心とのずれを計算して本当の周波数を推定します。

AIの力を借りて、約1週間でiOSアプリに

ーーこれまで30年近くオープンソースとして発展させてきて、製品化しようとは考えていなかったんですか？

市來：むしろどちらかというと、プロプライエタリに対する敵意を持っているタイプの学者上がりですから（笑）。プログラムは公共のものだという価値観で生きてきたので、GPLで公開してきました。ただ、WaoNは私1人で書いてきたプログラムなので、デュアルライセンスにすればいい話だな、とは思っていたんです。そんな中、直近の半年ほど仕事でコーディングAIを使っていて、その威力を実感していました。iOSアプリは仕事で少し書いたことがある程度で、フロントエンドをガチガチに書くエンジニアではないのですが、WaoNのアルゴリズムをスマホで使えたらいいなとずっと思っていたんです。そこでAIと協力しながら書いてみたら、iOSでラッパーをかぶせるところまでは1週間くらいであっさりできてしまった。これはすごいと思って、iOSアプリなら売り物にしよう、と。

ーーコアの部分は、オープンソース版のWaoNと同じなのですか？

市來：本質的な部分は同じです。FFTベースで、フェイズボコーダーによる補正で周波数の解像度を上げたバージョンでノートをピックアップしています。その結果をさらに一段階フィルタリングするといった処理を、AIの提案に従って加えているので完全に同じではありませんが、コアのアルゴリズムは同じですね。一方、見た目や操作性はまったく違います。MIDIファイルで出力するなら簡単な編集はできたほうがいいと思って編集機能も入れましたが、オープンソース版ではそのあたりのGUIプログラミングは手に負えないと思っていた部分です。またMacでもビルドできたので、Mac版も用意しました。画面が広くマウスが使えると、また全然違う感覚で使えますよ。

ーー採譜エンジンそのものに、AIは使っていないのでしょうか？

市來：私のプロジェクトでは使っていません。

なお、市來さんがQiitaに書いた記事によると、解析部分はC言語のまま、GUIはSwiftで全面的に書き直す形で開発したとのことです。オリジナルのWaoN（コマンドライン版のwaon、フェイズボコーダーのpv、GUI版のgWaoN）は、これまでどおりGPLのままGitHubで公開が続けられています。

AIによる採譜の圧倒的な進化を、開発者はどう見ているのか

ーー一方で、最近はAIによる採譜やステム分離が急速に進化しています。市來さんもそのあたりについて書かれていましたよね。

市來：2018年にQiitaで、当時出始めだったGoogleのAI採譜モデル（Magenta）と自分のWaoNを同じ素材で比較する記事を書きました。2020年に初めて書いた技術同人誌でも、長くやってきたこのプロジェクトをネタにしています。その当時は、ひいき目はあるものの、互角ぐらいに戦えている感覚でした。その後、AI技術はどんどん進んでいて、今回アプリを出したタイミングで、その記事の続編を書こうと思ったんです。そこで試したのが、フランスのkyutaiというAI研究所が出しているMuScriptorという採譜に特化したモデルです。これが、すごくよかった。混ざった音源を楽器ごとのステムに分割するのは採譜の大きな悩みどころでしたが、そこもAIがやってくれる。私が好きなジャズのシンプルなトリオぐらいの編成の曲をかけてみたら、私が欲しい情報は完璧に取れていました。採譜という分野で私のアプリを宣伝したり売ったりするのは、実態としてはもう負けたな、という感覚です。作っておいてなんですが（笑）。

ーーFFTの延長線上にあるDSPのアルゴリズムによる採譜を、AIが上回ってきたと。

市來：それは否定できないし、世間的にも明らかですよね。技術の進歩は圧倒的です。

ーーそうした中で、わおんを今リリースする意義はどこにあると考えていますか？

市來：こじつけかもしれませんが、フェイズボコーダーはそもそも何のために開発された技術かというと、音程をキープしたまま再生スピードを変えるためのもの。今ではYouTubeにも普通に入っているので、みんな背後にある技術を気にしていないと思いますが、それがフェイズボコーダーなんです。カラオケマシンのように、実際の音源の音程を変えることもできます。WaoNはもともと、自分が楽器を弾くときの耳コピを助けるツールを志向していたので、ゆっくり再生して詳しく聴きたい、といった機能を今回のアプリにも入れています。AppleのライブラリではスピードをゼロにできないのでWaoNの自前のフェイズボコーダーを組み込み、一時停止しても音が鳴り続けるようにしたり、逆再生できるようにしたりしました。採譜能力ではAIに負けてしまったけれど、練習ツールとして喜んでもらえる部分はあるのかなというのが、今の私の心持ちですね。

ーーなるほど。

市來：そもそも私が古き良きDSP的な耳コピにこだわってきたのは、結果が欲しいだけではなく、その結果を自分の頭で理解したいという思いがあったからなんです。AIはブラックボックスで、結果だけですからね。そういう意味でのこだわりでもあったので、これでいいのかなと思っています。

ーー今回、DTMステーションにご連絡いただいたのも、AIがきっかけだったそうですね。

市來：プロモーション先として、最初は海外のプラグイン情報サイトのKVR Audioを、次に日本国内ならDTMステーションだとAIが提案してくれて、背中を押された感じです（笑）。それにしても、AIがなかったらiOSアプリにしようとは思わなかったので、新しいことにトライするハードルを下げてくれていますね。面白い世の中になったと思います。