先日公開した「原音に忠実な音は人によって違う!? finalの新技術DTAS搭載イヤホン「TONALITE」を試した」では、日本のイヤホン/ヘッドホンメーカーのfinalが開発したDTAS（Digital Twin Audio Simulation）搭載のワイヤレスイヤホン「TONALITE（トナリテ）」を実際に使ってみた体験をお伝えしました。スマートフォンで頭部・外耳をスキャンして個人専用のプロファイルを作り、それをTONALITE本体のDSPに書き込むことで、「本来、鼓膜で聴くべき音色」をイヤホンで再現するという技術です。一度使うと二度と戻れない——そんな感想を記事に書いたところ、多くの読者から反響をいただきました。
その記事の末尾でも予告した通り、今回はDTASの開発を主導したfinalの濱﨑公男さんに直接話を聞いてきました。濱﨑さんは1982年からレコーディングエンジニアとしてキャリアをスタートし、業務用R-DAT開発への関与やヤマハ最初のデジタルミキサー評価への協力、22.2マルチチャンネル音響システムの開発など、日本の音響技術史に深く関わってきた人物です。AES（Audio Engineering Society）では副会長および日本支部長も務めており、プロ音響の世界では広く知られた存在です。その濱﨑さんがなぜ、ワイヤレスイヤホンのパーソナライズ技術の開発に情熱を注いでいるのか。「なぜ空間印象ではなく音色（ネイロ）なのか」「他社のHRTF技術と何が根本的に違うのか」「550人をスキャンして100%の満足度を得たZE8000の実証実験とは」「今後の展開はどこへ向かうのか」……などなど、前編では触れられなかった技術の深層と開発の背景に、今回は迫っていきます。取材にはfinal代表取締役社長の細尾満さんにも同席していただき、一緒にいろいろお話を伺いました。
お話を伺ったfinalの濱﨑公男さん(左)と代表取締役社長の細尾満さん(右)、右下の写真はTONALITE
濱﨑公男さんとは何者か
DTASの話に入る前に、濱﨑さんのキャリアを簡単に紹介しておきましょう。1982年にレコーディングエンジニアとしてキャリアをスタートし、クラシック音楽を中心に録音と映像制作に携わってきました。やがてデジタル化の波の中でソニーやパナソニックとともに業務用R-DAT（デジタルオーディオテープ）機器の開発に参加。ヤマハの最初のデジタルミキサーの評価にも協力し、TOAとのデジタルミキシングコンソールの新規開発なども手がけました。
プロ音響の世界の第一人者である濱﨑公男さん
録音の世界ではステレオからサラウンド、そして22.2マルチチャンネル音響へと軸足を移し、22.2マルチチャンネル音響システム開発の中心人物としても知られています。また、AES（Audio Engineering Society）では副会長および日本支部長も務めた、プロ音響技術の第一人者です。
その濱﨑さんが現在finalの社員として取り組んでいるのが、DTASです。前回の記事でも触れたとおり、この技術には独自の聴覚理論と、多くのメーカーとは異なるアプローチがあります。
きっかけは「コンシューマとの接点」
——なぜfinalと関わるようになったのでしょうか。
濱﨑：これまでプロの制作現場でずっとやってきたので、コンシューマの世界とはほとんど接点がありませんでした。ただ、スピーカーの場合は無響室で特性を揃えることはできても、部屋の反射によって大きく特性が変わってしまいます。一方でイヤホンやヘッドホンなら、その補正が比較的やりやすい。そこに可能性を感じて、2016年からfinalを手伝いはじめました。その核になったのが「音色の個人性適用」というコンセプトです。プロの制作者が意図した音を、リスナーがイヤホンで正確に聴けるようにするというアイデアは、当時から頭の中にありました。
音色（ネイロ）に着目した理由
——DTASは「空間印象ではなく音色に着目した技術」だと伺っています。なぜ音色なのでしょうか。
濱﨑：音の聴覚印象は大きく2つに分けられます。ひとつは空間印象——音の定位や広がり感など。もうひとつは音色——楽器や声そのものの質感や音楽を構成する楽音のバランスなど、いわゆるネイロです。制作の現場にいる人たちは『音色（オンショク）』と言いますが、音響心理学の世界では『ネイロ』と呼ぶことが多い。英語だとタンバーあるいはトーンカラーになります。これまでHRTFを使ったパーソナライズ技術の多くは、空間印象の改善——つまり音の正しい方向をどう再現するか——を目的としていました。でも私たちが注目したのはネイロのほうです。空間よりネイロのほうが制作者が表現しようとする意図に直結するし、聴き手がその音楽をどう感じるかに大きく関わってくるからです。
聴覚モデルの理論的根拠
——DTASの理論的な根拠はどこにあるのでしょうか。
濱﨑：私が依拠しているのは、ドイツのIRT（Institut für Rundfunktechnik：放送技術研究所）の研究者であった、ギュンター・タイレ（Günther Theile）博士の聴覚モデルです。IRTはドイツ・オーストリア・スイスが資金を出した放送技術の研究機関（現在は閉鎖）で、タイレ博士はそこで録音のプロが使うためのヘッドホンの音響理論などを研究していました。
タイレ博士の提言は、頭部伝達関数（HRTF）の一部である外耳における回折や反射などによって生じる外来音への影響はいわば空間知覚エンコードであり、脳の中で「方向知覚」のために利用されているというものです。鼓膜付近では3kHz〜5kHz帯域が10数dBも持ち上がるような変化が起きているにもかかわらず、私たちがスピーカーで音楽を聴くときにその変化を「不自然な音色」として感じないのは、脳が空間知覚エンコードによる変化をデコードして、その影響を排除し、音色知覚（ゲシュタルト認識）の段階では、外来音本来の音色（ネイロ）を知覚しているからという提言です。
DTASを搭載したBluetoothイヤホン、TONALITE
——HRTFって、立体的な認識のためだけに使われるものだと思い込んでいましたが、音色もこれによって変化するわけですね。
濱﨑：タイレ博士が提言した外耳の空間知覚エンコードという考え方にもとづけば、このエンコードが正しく働かないと、脳におけるそのデコードで原音の音色が変化してしまうわけです。ところがイヤホンは、外耳道に音を直接放射する構造のため、この空間知覚エンコードが正しく行われません。したがって、空間知覚エンコードの前提が崩れた状態で音が鼓膜に届いてしまうのです。
逆フィルターで「ネイロを白紙化」する
——技術的にはどうやって解決しているのですか。
濱﨑：これまでイヤホンでは、メーカーごと、さらにはそのモデルごとに、画一的なターゲットカーブ（振幅周波数特性）が適用されていました。このターゲットカーブは、イヤホンが外耳道に放射する音に人の身体形状の影響を与えて、音色の不自然さを解決しようというものです。しかしながら、人の身体形状は個人ごとに異なるため、画一的なターゲットカーブでは音色の不自然さは残ってしまいます。
そこで、タイレ博士の空間知覚エンコードの考えや、イヤホンのターゲットカーブに関する多様な研究成果などを参考に、final独自の聴覚モデルを生み出しました。外来音に対する個人の身体形状の影響を、空間知覚に必要な要素と音色知覚に必要な要素に分離し、音色知覚に必要な要素だけをイヤホンのターゲットカーブに適用した音色個人性適用ターゲットカーブを算出するという聴覚モデル（数理モデル）です。これが実現できれば、みんなが同じ音色で聴けるようになるはずです。この音色個人性適用ターゲットカーブをどうやって作るかがDTASの核心であり、DTASの特許技術の要です。スマートフォンのカメラで身体形状をスキャンし、個人の3Dモデルを生成。音響シミュレーションによってその人固有の音色個人性適用ターゲットカーブを算出します。その音色個人性適用ターゲットカーブの振幅周波数特性を、FIR＋IIRデジタルフィルターでTONALITE本体のDSPに実装し、「My Profile」としてイヤホンでの再生音に適用します。finalではこれを「ネイロの白紙化」と表現しています。
細尾：体の個人差による音色への影響を取り除いて、フラットな白紙状態にする。建築でいえばセメントで地ならしをするようなものです。白紙になることで、みんなが同じ基準で音色を聴けるようになる。その上に好みのEQをかけると、何をしても音楽的に聴こえる。EQが使いやすくなるのは副産物ですが、これがまた楽しいんです。
finalの代表取締役社長、細尾満さん
他社のパーソナライズとは何が根本的に違うのか
——ソニーをはじめ、複数のメーカーがすでにHRTFを活用したパーソナライズに取り組んでいます。DTASとはどう違うのでしょうか。
濱﨑：これまで各社が行ってきたアプローチは、空間知覚を正しくするというのが主な目的です。このために、バイノーラルレンダリングに個人のHRTFを適用します。そして個人のHRTFを求めるには、たくさんのHRTFデータを持っておいて、その人の耳の形状から近似度の高いものを選ぶというものが多いようです。私たちのアプローチは違います。目的は音色（ネイロ）知覚を正しくするというものです。そのために、バイノーラルレンダリングではなく、イヤホンのターゲットカーブに個人性を適用します。しかも音色個人性適用ターゲットカーブには0.5〜1dBレベルの精度が求められます。空間印象よりネイロのほうが精度の要求が高い。近似マッチングではこの精度には届かないのです。
ZE8000での実証と機械学習の導入
——現在の精度はどのように担保されているのですか。
濱﨑：最初の段階では、final本社に来てもらって、測定して、計算するという個別対応で行っていました。ZE8000というモデルに搭載した自分ダミーヘッド（JDH、身体スキャンによる音色個人性適用）で実証実験と有料サービスを行い、のべ550人をスキャンしました。一度適用した人は、もう元に戻れないと言います。不満はゼロ、満足度は100%でした。ただ面白いのは、みんな『いい』としか言えなくなるんです。音色が正しく再現されると、オーディオ用語を用いて具体的に何が変わったかを語れなくなる。それが正しいということの証拠でもある、と確信しています。
finalのZE8000
この成功体験を踏まえてTONALITEを製品化しましたが、課題は身体形状による影響の測定でした。final本社に来てもらって測定するのでは、製品として成立しません。そこで投入したのが機械学習です。
——確かにすべての人をスキャンするのは無理がありそうですが、AIを利用すれば、状況は変わりそうですね。
濱﨑：個人ごとのスキャン画像と外来音波に対する身体形状の物理的影響の間で機械学習モデルを作って、ひたすら学習させています。社員や、大学の学生さんなどのデータを積み上げて、ある程度のデータが集まれば普遍的な推定ができるようになる。TONALITEでは、この機械学習に基づく実用的な聴覚モデルをサーバー側で動作させていて、スマホで撮った写真を送ると、その人の音色個人性適用ターゲットカーブが返ってきます。それをデジタルフィルターで実装する。まさにAI時代の新しいアプローチです。
自分ダミーヘッドサービスという有料での測定を、final本社で行っていた
なぜステレオをターゲットにしたか
——DTASはステレオの再現に特化していますね。なぜ3Dではなくステレオなのでしょうか。
濱﨑：ステレオこそネイロが重要だからです。3Dサウンドには空間情報がありますが、ステレオはLRの振幅差しか空間情報がありません。空間そのものは存在していないと言ってもいい。だからこそネイロが制作者の意図のすべてになる。DTMをやっている人も、スタジオのスピーカーで制作しているエンドユーザーも、ほとんどの人がステレオで音楽を作り、ステレオで聴いています。その世界で、制作者が意図した音色をリスナーに届けたかった、というのがDTASの基本的な考え方なのです。
——ということは、DTASを通しても、空間的なものはまったく変化しないと考えていいのでしょうか？
濱﨑：その通りです。DTASはあくまで音色だけに働きかけるため、空間情報には手を加えません。バイノーラルマイクで収音したコンテンツやイマーシブサウンドコンテンツをバイノーラルレンダリングした3Dバイノーラルオーディオを聴く際も、空間印象はそのまま保たれます。「空間の情報を汚していない」ということです。ステレオでも3Dでも、クリエイターが出そうとした音が聴き手に届く——それがTONALITEのゴールです。
制作者たちの反応
——実際に音楽制作者たちの反応はいかがでしたか。
濱﨑：現代音楽のある作曲家は、こんなことを言ってくれました。オーケストラの作品を書くとき、録音したものをイヤホンで聴いて譜面を直す作業が今までは苦痛だったと。TONALITEを使ったら、その苦痛がなくなったと。
細尾：音楽制作者は仕事がやりやすいように、わずかにEQで調整することがあるようなのですが、このストレスが激減したという声もありました。DTASがあるとEQが思った通りに効いてくれます。そんな理想的な環境を誰でも体感できるのです。
今後の展開
——TONALITEはDTASを使った第一弾とのことですが、今後はどう展開していくのですか。
濱﨑：今のTONALITEはBluetooth接続のTWSイヤホンなので、エンコード・デコード、伝送、FIRフィルターを用いた信号処理などによる遅延が数十msほどあります。ゲームのように遅延が問題になる用途には現状向きません。ただ来年には、専用ドングルを使った低遅延版も出せるよう開発を進めています。
細尾：今年の秋〜年末ごろには、DTASを体験してもらうための有線接続対応の安価なアンプも出せればと考えています。スマホにType-Cで接続して使えるもので、E500などのイヤホンと組み合わせてもらうことを想定しています。ダイヤモンド振動板のイヤホンにDTASを組み合わせると、さらにいい。趣味の世界は残りつつ、今までの価格ではあり得なかったものが出せるようになる。これによって、底上げができるはず、と考えています。
濱﨑：ASMRや声優ドラマのようなコンテンツを作っていく人、届けていく人、どちらの側にも意味があります。TONALITEは制作者にとっても、リスナーにとっても、音楽体験を根本から変える可能性があると思っています。
聴覚理論に裏打ちされた革新
——前編の記事を公開したところ、多くの反響をいただきました。その中で特に多かったのが「立体感が向上したと感じたのに、DTASは空間印象を変えていないのはなぜか」という疑問です。この点についてはいかがですか？
濱﨑：ネイロが正しくなると、制作者の意図した空間印象がより正しく聴こえるようになります。たとえば、コンテンツに含まれる初期反射音や後部残響などがより正しく聴こえるようになります。音色が白紙化されることで、ステレオフォニックで制作された空間印象がより正確に再現されるとも言えるでしょう。だから立体感が向上したように感じるのは正しい。ただしDTASが整えているのはあくまでネイロだけです。空間と音色は切り離されているようでいて、実は密接に関わっているんです。
1982年にレコーディングエンジニアとしてキャリアをスタートし、デジタルオーディオ制作機器の開発、22.2マルチチャンネル音響、そしてDTASへ——濱﨑さんの歩みは、常に「本来の音をどう届けるか」という問いに向き合い続けてきた歴史でもあります。その集大成ともいえるDTASと、それを搭載したTONALITEが、音楽制作者の手元に届きはじめています。
【関連記事】
原音に忠実な音は人によって違う!? finalの新技術DTAS搭載イヤホン「TONALITE」を試した
【関連情報】
final TONALITE製品情報
【価格チェック&購入】
◎final公式ストア ⇒ TONALITE
◎final公式ストア（Amazon） ⇒ TONALITE
コメント