脳コンピューターインターフェースとヒアラブル

1802年のジョバンニ・アルディーニの研究以来、研究者は聴覚または視覚機能の回復、あるいは損傷した筋肉または神経系の運動制御機能の回復を目的とする、いわゆる神経機能代替の開発を続けてきました。この分野では通常コンピュータを中心としたシステムが組まれますが、BCI（brain computer interface）という用語は一般的に、脳の活動を測定し、その活動を知覚入力、運動出力あるいはその他の精神活動や意図にマッピングするシステムを指すために使われます。

BCIの研究は、1970年代の初めにカリフォルニア大学（UCLA）のジャック・ヴィダルが視覚刺激によって誘発された脳波活動をリアルタイムにコンピュータで分析し、次いで被験者が分析結果を用いて画面上でカーソルを動かし、画面上の迷路を抜けることが出来たことに端を発します。この他にも多くの非侵襲的な脳画像技術があり、長い間EEG（脳波測定：Electroencephalography）の補完に使われて来ました。しかしこれらの技術は空間分解能は高いものの、MEG（脳磁図：magnetoencephalography）を除いては非常に低い時間分解能しか持っていません。MEGは優れた時間分解能と良好な空間分解能を持っていますが、実用的なBCIを開発するためのステップとはならないでしょう。数百万ドルのコストがかかる上に、冷却のために大量の液体ヘリウムを必要とするからです。

さて、MEGはすぐに実用的なBCIに変わることはありませんが、脳がスピーチをどのように処理するか、どのようにして複雑な聴取環境（カクテルパーティ問題のような）の中で一人の話者の音声を選んで聞き取ることが出来るのかについて、信じられないほどの重要な洞察を与えてくれます。たとえば、メリーランド大学のジョナサン・サイモンらは、2人の同時話者の話を聞くとき、聞き手の注意の焦点が各話者に対する聴皮質のコーディングの強さを調整することを示しています。あたかも大脳皮質の処理にボリュームコントロールがあるようにです。簡単に言えば、脳は聴取者の意図（注意）を用いて、どの話者の声がより重要であるかを判断し、それに応じて処理を調整します。聴取者の注意が処理を駆動し、EEGを使用してその意図を読み取ることができるのです。

脳がどのように聴いているかを調べる最近の他の研究は、同様の結果が脳波信号を使っても達成できることを示しています！ダブリンのトリニティカレッジのエド・レイラーらも、聴取者に2人の同時話者の1人に注意を集中するように依頼しました。そして各話者の音声とマルチチャネルEEGを機械学習アルゴリズムにかけました。注意の焦点を特定するために、低周波EEGの位相と、注意を向けられた話者に対するトータル振幅包絡線の関連性が使われました。これらのいわゆる皮質音声デコーダは、ほんの1分間のスピーチを聞いた後に予測を行うことができました。

レイラ―らはまた、デコーダが各話者の発音特性のストリームを表す一連の情報を提供された場合、更に大きな成功が得られることを実証しました。オルデンブルクのマールテン・ド・フォス（現在はオックスフォード大学）らは、他の多くの話者の音声を学んだ皮質音声デコーダは、長期的な成功は注意を向けられた話者の声で初めから学習したデコーダほどではないにせよ、注意を向けられた話者を始めから特定できることを示しています。

補聴器へのインパクト

これが補聴器にとって何を意味するかというと、聴取者が話し手のうちの誰に焦点を当てているのかを知ることによって、補聴器が注意を向けられた話者の音声を優先的に処理することができるということです。このような処理は、ビームフォーマー*を目標話者に向けて信号対雑音比を高めるのと同じくらい簡単ですが、どのようなプロセスを行うかにかかわらず、最終的な目標は注意を向けた話者の声を、背景音や他の競合する音声の中で際立たせることです。ここでの問題はもちろん、このアプローチを使うためには、補聴器は、聞き手がどの話者に注意を向けているかを理解するために、異なる話者の発言を解析する必要があるということです。

今後も、補聴器に影響を与える問題のいくつかを見ていきます。我々が重点を置く2つの主な問題としては、（1）注意を向ける話者の音声を話し始めたときから際立たせること、（2）複数の話者の音声を分離して傍聴人ストリームすることが含まれます。