【秋田大学】深層学習を用いて、顔色や温度から人の心理状態を把握する
秋田大学理工学部
景山・石沢研究室
景山・石沢研究室
専門：リモートセンシング／ヒューマンセンシング／画像処理／機械学習
AI・データサイエンス系大学・学部の研究室では、どのような研究が行われているのか？ 近年、データサイエンスの技術を用いて、人の感情や心理状況を把握する研究が盛んだ。秋田大学大学院理工学研究科の景山陽一教授が手がける「ヒューマンセンシング」の研究もそのひとつである。どのような研究なのだろうか？
“人間中心のデジタル社会”に対応する技術を開発する
「ヒューマンセンシング」と呼ばれる研究分野がある。直訳すると「人間の計測」になる。これは、表情や行動などを計測して得られたデータから、その人の心身の状態を分析・推定するような技術を指す。秋田大学大学院理工学研究科の景山陽一教授は、ヒューマンセンシングの技術を用いて、現代社会が抱えるさまざまな課題に挑む研究を行っている。
「私たちの大学がある秋田県は、超高齢社会の先進県と呼ばれています。高齢者にとって、気になるのは、認知症に代表される生活に影響の出るような疾患です。そのため、認知機能や運動機能の維持を目的とした研究は、重要なテーマのひとつです。研究室全体としては、今後訪れる超スマート社会における“ヒトを中心とした情報技術（IT）の実現”を目指しています。デジタルツールを駆使して“人と人をつなぐ技術”、“人と社会（環境）をつなぐ技術”が2大テーマです。ヒューマンセンシングは主に前者の可能性を模索する研究です」
eスポーツを用いた高齢者の感情解析
具体的な研究内容を見ていこう。景山教授が主宰する「景山・石沢研究室」で取り組むヒューマンセンシングのテーマのひとつが、「eスポーツを用いた高齢者の感情解析」の研究だ。実験では、被験者である高齢者にカーレースのゲームを体験してもらい、その様子を可視カメラと熱赤外カメラで撮影して、動画データと温度情報のデータを取得する。そして、ゲーム中にセンシングした被験者の顔の温度や色の変化とそのときの心理状態を紐づけてAIに学習させるという。
「最終的に被験者の表情や体温を見て、AIがその人の心理状態を推定できるようにするのが目的です。特に高齢者は、そのときの気持ちが顔の表情に表れない人も数多くいます。顔の画像からその人の心理状況がわかれば、医療や介護現場のコミュニケーションが円滑になるのではないかと考えています」
コロナ禍を経て、オンラインによるコミュニケーションの機会も増えた。今回の研究成果は、遠隔コミュニケーションの課題も解決できる可能性もあるという。初対面の人同士が、オンラインで話をしているとなかなか距離が縮まらないケースがある。これは多くの人が経験したことがあるはずだ。オンラインで会話する際に取得できる「非言語情報」は、リアル空間での会話と比べて圧倒的に少ない。これが原因なのではないかと景山教授は考えている。
「人間同士がリアル空間で自然に認知している非言語情報をAIが認識して、コミュニケーションをサポートできるようにするのが目標です。カメラ画像のみで心理状況を把握できる技術を確立できれば、遠隔コミュニケーションとの相性は抜群だと思いますね」
画像データを用いた骨格検出で人間の行動を判別する
景山教授がヒューマンセンシングの研究として、もうひとつ紹介してくれたのが、画像データを用いた骨格検出による行動判別の研究だ。これは、カメラで撮影した画像から人物の骨格を推定し、深層学習を用いて、その人の姿勢や身体の動きを判別するという。この技術を主に建設現場における安全管理などで役立てたいと考えている。
従来の行動判別技術では、モーションキャプチャと呼ばれる専用の機器を身体に装着して計測したデータが用いられてきた。この場合、身体に装置を装着する手間がかかり、計測できる場所も限られるという課題があった。一方、景山教授が取り組むのは、一般的なカメラ映像から画像処理によって、人の骨格の位置を抽出し、動作を判別する技術の開発だ。
「骨格検出の技術を用いることで、衣服などに影響されることなく、行動を把握できるようになります。さらに、深層学習の技術を用いて、動作の種類をAIに学習させることによって、人の行動を高い精度で推定できるようになります。例えば、作業員の身体の一部がカメラに映らない場合であってもある程度の行動を予測できます。建設現場では、作業員の高齢化が進んでいます。無理な姿勢で働いている作業員をAIがカメラ映像から検出し、アラートを発することで、事故を未然に防ぐのがこの研究の目的になります」
カメラ映像から人間の行動を予測する技術は、さまざまなシーンに応用できる。わかりやすいのが、スーパーの店頭における消費者の行動予測だ。例えば、お弁当売場に定点カメラを設置して、時間ごとにどの弁当をどのくらいの人が手に取るのかを記録する。さらに消費者の性別や年齢なども判別できるようになれば、立派なマーケティングツールになる可能性がある。
「深層学習を使って、画像データから消費者の行動を解析することで、何時くらいにどのくらいの数量の弁当を用意すればいいか予測できるようになります。これは、県内のスーパーと実際に行っている共同研究です。建設現場やスーパーの事例はほんの一部で、当研究室では常に10件以上の共同研究を企業と行っています。このように社会のあらゆる分野で役立てることができるのが、AIやデータサイエンスの大きな強みだと思っています」
リモートセンシングで湖の汚濁状況を推定する
景山・石沢研究室の研究テーマは、まだまだある。例えば、2大テーマのひとつ“人と社会（環境）をつなぐ技術”の一例として、「リモートセンシング」の研究がある。具体的には、秋田県の男鹿半島の付け根に位置する八郎湖で、汚濁状況の推定を行っているという。リモートセンシングとは、人工衛星や航空機などに搭載したセンサーを用いて、遠くから広い範囲を一度に観測する技術のこと。つまり、衛星画像や航空画像のデータを解析して、水質の汚濁状況を予測する研究だという。
八郎湖は農業用水として利用するため、水質状況の把握は非常に重要だ。地域住民も水質環境に関して多くの取り組みをしているが、夏季には緑色に濁るアオコが発生し、景観の悪化や悪臭など水質汚濁が問題化しているという。これまでは、水質調査による局所的な水質状況の把握にとどまっていた。そこで、景山教授は八郎湖の水質状況推定と汚濁メカニズムを解明するため、リモートセンシングを用いた八郎湖全体の水質状況の推定を行っている。
「現地で水をくみ上げて取得した水質データはいわば“点の情報”です。そこに人工衛星データを組み合わせることで、湖内のすべての地点で水をくみ上げることなく、八郎湖全体の水質を“面の情報”として推定できるようになりました。さらに、UAV（無人航空機）を使って撮影した高解像度の画像を深層学習で解析することで、汚濁予測の精度はますます向上しています。これも技術の社会還元を目的とした地元企業との共同研究になります」
ヒューマンセンシングの研究もさらに進化している。eスポーツを活用した前述の研究では、2次元、3次元のデータも駆使したAIのマルチモーダル学習などにも取り組んでいる。マルチモーダルとは、テキスト・画像・音声・動画など複数の種類のデータを一度に処理する技術を指すもので、AI・データサイエンス分野の最先端研究として注目されている。
さまざまな分野の人々と連携して社会課題を解決したい
ヒューマンセンシング、リモートセンシングなど、幅広い研究テーマに挑む景山教授に、今後の目標について聞いた。
「冒頭に申し上げた通り、目指すのは超スマート社会における“ヒトを中心とした情報技術（IT）の実現”です。そのためにもヒューマンセンシングを用いて、ヒトを知ることがますます重要になります。大切なのは、さまざまなデータを用いて、研究対象の本質に迫ることです。ここにおいて、AIやデータサイエンスの知識・技術は不可欠です。情報技術を開発し、社会で役立てるのが、私たち工学研究者の使命です。AI・データサイエンスの知識・技術を強みとして、さまざまな分野の人々と連携して、それぞれの知見を組み合わせることで、社会課題の解決に挑みたいと思っています」
研究室の詳細
景山・石沢研究室
超スマート社会における「ヒトを中心とした情報技術（IT）の実現」を目指している。研究分野は、ヒューマンセンシング、リモートセンシング、画像処理、機械学習、画像情報応用、視覚認知、感性情報処理、論理回路の故障検査・設計、コンピュータグラフィクスの応用、 コンピュータセキュリティなど多岐にわたる。
詳細はこちら
秋田大学 景山・石沢研究室
Text by 丸茂健一(minimal)／Illustration by 竹田匡志
