【東京農工大学】ディープラーニングを用いて脳波から自動で音声を合成する
東京農工大学 田中聡久研究室
工学部 知能情報システム工学科
田中聡久研究室〜生体信号情報学研究室〜
専門：生体信号情報学／信号処理／機械学習
AI・データサイエンス系大学・学部の研究室では、どのような研究が行われている？ 頭に差した電極から脳波を読み取り、人工音声に変換する——。そんなSF映画のような技術が実現されようとしている。用いるのはAIのディープラーニング（深層学習）や生体信号処理の技術。東京農工大学工学部知能情報システム工学科の田中聡久教授に話を聞いた。
人間の頭の中で何が起こっているのかを理解する
ボーカロイドの代表とされる初音ミクが登場したのが2007年。それから15年以上が経ち、デジタル信号から人工音声を合成する技術は格段に進化している。今や人間と区別がつかないような自然な人工音声もある。
そんな人工音声を医療分野で役立てる研究に取り組む研究者がいる。東京農工大学工学部知能情報システム工学科の田中聡久教授だ。田中教授が主宰する「生体信号情報学研究室」では、AIを用いて、脳波から音声を合成する技術を開発しているという。
「AIのディープラーニングや信号処理の技術を利用して、人間の頭の中で何が起こっているのかを理解するためのさまざまな研究を行っています。脳波から音声を合成する研究もそのひとつです。人間の身体は、究極的には電気信号によって制御されています。私たちは、この電気信号を情報として取り出し、さまざまな形に変換して、医療など幅広い分野で役立てたいと考えています」
研究のべースになるのは、生体信号処理の技術。脳波のような電気信号を画像、文字、音声などのデジタルデータに変換する技術と考えればいいだろう。また、脳とコンピュータをつなぐ「ブレインマシンインタフェース（BMI）」の研究に興味がある人も注目すべき分野だといえる。
脳の信号をスペクトログラムに変換する
脳波から音声を合成する第一歩は、まず頭の中から精度の高い脳波を取り出すこと。田中教授の研究室では、医療機関などと連携してこれを計測し、AIが扱いやすいベクトルの形式に変換していく。さらに、次のステップとして、「声紋」と呼ばれるスペクトログラムに変換するのがこの研究の独自性だという。
「音というのは、空気の振動です。音を構成する周波数などの要素を三次元のグラフとして可視化したものがスペクトログラムです。この研究では、ディープラーニングを使って、特定の音声を構成する脳波をスペクトログラムに当てはめていきます。例えば、被験者がWA-TA -SHI（わたし）と発声したときの脳波に対応するWA-TA -SHIのスペクトログラムをニューラルネットワーク（※）に学習させるわけです。この工程を経て、合成する音声のクオリティが格段に向上しました」
※人間の脳構造から着想を得たAIのモデル。ディープラーニングもニューラルネットワークの一部だといえる。詳細はこちら
正しく変換されたスペクトログラムが作成できれば、次はVocoder（ヴォコーダー）と呼ばれる既存の音声合成機器に入れていく。世界中の莫大な音声データによって、予めトレーニングされたVocoderがまるで本人が発したような音声を再現してくれるという。この技術が実用化されれば、病気などで声帯を失った人が、自分の声を取り戻すことができるかもしれない。
筆者は取材時にAIが脳波から合成した音声データと被験者本人の声を聞かせてもらったが、ほとんど違いのないレベルに迫っており驚かされた。AIやビッグデータを駆使した、まさにデータサイエンスの研究。これはぜひ研究室公開などの機会に現場で体験ほしい。
脳波を用いたてんかん診断をAIでサポート
田中教授の研究室では、ほかにもAIを医療で役立てる研究を積極的に行っている。そのひとつが脳波を用いた「てんかん（突然意識を失うなどの発作が起きる疾患）」の診断をAIの技術でサポートする研究だ。
「てんかんの診断をする際は、医師が脳波を見て判断するわけですが、これを正確にできる脳神経の専門医は限られます。そこで、AIを用いて診断をサポートして、脳波を扱える医師が少ないという医療現場の課題を解決したいと考えています」
脳波をAIで診断するこの仕組みを用いて、田中教授が新たに挑戦しているのが脳波遠隔診断システムの構築だ。これは脳波を計測したデータをクラウドで共有し、AIと専門医が判読し、現場に伝えるというもの。これを「Neuro Cloud（ニューロクラウド）」と名付け、共有した脳波のデータを大学等の研究でも利用できるようにして、新たな技術開発にもつなげたいと考えているという。
田中教授は、2022年9月に順天堂大学医学部の共同研究チームとともに株式会社Sigronというベンチャー企業を設立し、自らもCTO（Chief Technical Officer／最高技術責任者）として、事業に取り組んでいる。田中教授の研究室に所属すれば、より社会実装に近い研究に携わる経験ができそうだ。
「AIの高度な技術は一部の富裕層に向けたものではありません。AIによって世界中のあらゆる場所に住む、あらゆる階層の人々が、同じ水準の医療や教育のサービスを受けられる世界をつくりたい。自ら開発した技術を用いて、世界を変えるのが大学研究の役割だと思っています」
研究室の詳細
田中聡久研究室〜生体信号情報学研究室〜
電気的に取得した生体信号やデータ（脳波・眼電図・筋電図等）を適切に処理し、そこから意味を抽出するための要素技術および、抽出した情報の解析について研究している。信号処理の専門知識のほか、機械学習、ディープラーニングなど最先端のAI技術に触れることができる。
詳細はこちら
田中聡久研究室〜生体信号情報学研究室〜
Text by 丸茂健一（minimal）／Photo by 石垣星児／Illustration by 竹田匡志
