坂本 真樹 教授

SAKAMOTO Maki

電気通信大学大学院
情報理工学研究科
坂本・松倉研究室
専門：感性AI／感性情報学

オノマトペをデータサイエンスで「見える化」する

「もふもふ」という擬音を聞いて何を思い浮かべる？　やわらかい、丸っこい、毛が長い!?　感じ方は人それぞれで正解はない——。
パチパチ、ワンワン、キラキラ、ふわふわ、もふもふ……そんな擬音語・擬態語を総称したのが「オノマトペ」だ。古代ギリシア語を語源とするこの呼称は、今や一般の人にも知られるようになった。電気通信大学大学院情報理工学研究科・坂本真樹教授は、このオノマトペをデータサイエンスで「見える化」する研究に取り組んでいる。専門は「感性AI」。どのような研究なのだろうか？

「人間は、視覚、聴覚、嗅覚、味覚、触覚という五感を介したインタラクション（相互作用）によって情報を獲得し、知識や経験と融合させることで、その情報がもつ特徴を評価しています。知覚した情報を言葉にして表現したり、好き嫌いなどの価値評価を行なったりするのがその一例です。つまり、五感の入力情報から感性価値を判断して、発話などを実行までのプロセスにおける感受能力が『感性』だといえます。この『感性』をAI（人工知能）技術に導入するのが『感性AI』という研究領域になります」

感性を「数値化する」＝「機械にもわかる言語に翻訳する」と考えていいだろう。人間は、この感性を表現する言葉として「オノマトペ」を使うことが多い。五感を通して取得した外界の情報を「きらきら」「ふわふわ」といった音韻で表現できるのは、人間の感性が成す特殊能力ともいえる。そのため、オノマトペは言語学や認知科学の分野で昔から熱心に研究されてきた。坂本教授が「感性AI」の基礎研究で挑むのは、人間が話す自然言語のなかでもとりわけ定義しにくいオノマトペの数値化だ。AI研究としては、かなり珍しい領域といえる。

坂本教授によるとAI研究の目標は、①人間のような知能の実現およびその解明＝「科学的目標」、②超人的情報処理装置の開発＝「工学的目標」の２つに大別されるという。①は、人間と同じような複雑な知能を工学的に実現し、人間と心を通わせたり、その場の状況に合わせた振る舞いをしたりできるAIを目指す分野。②は、専門分野に最適化することで、人間の限界を超えた高度な情報処理を可能とするAIを目指す分野と考えていいだろう。坂本教授が取り組む「感性AI」の研究は、2つの領域を横断するものだという。それでは、「感性AI」の研究を具体的に見ていこう。

人工知能の発展には「感性」が重要となる

機械学習などを駆使した最新のAIの多くは、膨大なデータを学習することによってその技術を実現している。例えば、スマートフォンや防犯カメラに搭載された画像認識機能は、膨大なデータから一定の特徴や規則性を識別することで、画像に写っているヒトやモノを認識している。話題のChatGPTも大まかに言うと同様の仕組みであり、膨大なデータから自然な会話となる単語の並び順を識別し、最適な言葉を選ぶ技術によって成り立っている。

「いわゆるインターネット上のビッグデータを使ったAI開発は、欧米のテック企業が世界をリードしているのは、皆さんもご存じの通りでしょう。このAI時代に、日本の研究者はどうすべきか——。その切り口のひとつになるのが、『感性』だと考えています。日本人は、感性豊かな国民です。虫の声にも情緒を感じるようなDNAが受け継がれています。これは、つまり高品質なモノを理解・評価できる消費者でもあることの証です。そこで、膨大で雑多なデータではなく、日本人らしい質の高いきめ細やかな『感性データ』を使って、AIをつくったら面白いのではないかと考えています」

「感性データ」の獲得と処理の難しさ

しかし、AIに学習させる「感性データ」を取得することは容易ではない。なぜなら特定の犬を見た場合でも人によって、「ふわふわでかわいい」「もふもふであたたかい」「けばけばしてむせそう」と感じ方は異なる。「感性」というものは主観的であり、把握が難しいという側面がある。

「物体認識を行うだけであればモノに対する正解・不正解による識別で済みます。犬なのか、犬でないのかで済むわけです。一方、感性には正解・不正解がありません。個別具体的な認識を可能にするためには、より細かくデータを取得する必要があります。ここに大きな課題がありました」

従来の方法では、特定のモノに対して、「かたい」「やわらかい」「あたたかい」「つめたい」など、たくさんの評価尺度を予め用意したアンケートを実施し、それに回答していくことによってようやく感性データとしてコンピュータに入力することできた。しかし、この方法ではアンケート回答の負荷が大きかったり、回答の種類と幅が事前に用意しておいた評価尺度によって制約を受けたりするという課題があった。

「そもそも人間が五感によるインタラクションを行う上で、どれだけ分析的に知覚しているのかという点にも曖昧さが残っており、このままアンケートを取り続けるだけでは感性データとして不十分であるのは明らかでした」

そもそも数値で表せるような分析的な知覚を人間は行なっていないため、直感的な方法によるデータ収集が必要となる。そこで坂本教授が考案したのが、視覚、聴覚、味覚、触覚を通して知覚した感覚をオノマトペで表現してもらうという方法だった。

「被験者に、さまざまな素材を触ってもらったり、画像を見てもらったり、多様な食品や飲料を食べたり飲んだりしてもらったり、効果音を聞いてもらったりして、その際に感じたことをオノマトペで表現してもらうという実験を考えました。もう10年以上継続して行なっており、膨大なオノマトペのデータの蓄積があります。最終的な目標は、感性を定量化すること。そこで、オノマトペを数値化してコンピュータ上で扱える形式にする必要がありました」

オノマトペで表される微細な音の印象を数値化するシステム

坂本教授は、オノマトペ研究者、浜野祥子氏の1998年の著書で紹介されている「オノマトペを構成している音韻や形態と印象に結びつきがある」という現象を参考に、システム開発のための調査をスタートした。

「アアアア」「アイアイ」など、すべての音韻の組み合わせに加え、「ン（撥音／はつおん）」「ッ（促音）」「ー（長音）」などの特殊表現を考慮すると、その組み合わせは万単位にも及ぶ。それらすべてのオノマトペの印象を被験者に聞くのは現実的でないため、オノマトペとしてイメージの湧きやすい312語を選定して、100名程度にアンケート調査を行った。

「調査方法としては、312語のオノマトペを無作為に一語ずつ提示し、『明るい−暗い』『暖かい−冷たい』などの43項目の評価尺度から７段階でその印象を評価してもらいました。最後に、ばらつきを調整するとともに回答の評価値の平均を出すことで、そのオノマトペが示すデータとして定量化することに成功しました」

坂本教授によれば、システム開発当時は43項目だった評価尺度は、現在では100項目を超えるまでになり、オノマトペの詳細な印象の数値化も可能になってきたという。そこで、システム開発を行う上での次のステップとして、調査で得られた印象データからオノマトペを構成する音韻とオノマトペ全体の印象の関係値を求める実験に挑戦。『数量化理論一類』という統計モデルを用いて、カ行は『明るい−暗い』の評価尺度に対してどのような貢献をするのか、各音韻がオノマトペの印象にどのような影響を与えるのかなどを細かく分析していった。

「例えば、『ふわっ』であれば、『ふ』と『わ』と『っ』が示す尺度の合計により、そのオノマトペの印象値が決まることになります。各音韻のつながりや順序なども考慮しているため、『わふっ』と並びが変わるとそのオノマトペが示す印象値も変化します。このオノマトペ数量化システムの予測値と実際の被験者の回答による実測値を比較してみたところ、非常に高い精度でオノマトペを数値化できているという結果が得られました」

新しいオノマトペを生成するシステム開発

オノマトペをデータサイエンスで「見える化」する——。本来の目的は、オノマトペ（感性データ）を数値化し、コンピュータ上で取り扱えるようにするためのシステム開発だった。しかし、研究を進むと思いもよらぬ依頼が舞い込んだという。

「オノマトペを数値化するシステムを開発したのですが、反対に数値から新しいオノマトペを生成できないかという依頼が広告代理店からあったのです」

そこで坂本教授は、「遺伝的アルゴリズム」という計算手法を用いることによって、数値からオノマトペを生成するシステムを開発した。評価尺度の数値を操作することで、ユーザーが表現したい感覚や印象に近いオノマトペの候補が表示される仕組みだ。すでにあるオノマトペを検索する辞書的なシステムではなく、オノマトペ数値化システムと高度に連携させることで、特定の商品やシーンにあったオノマトペ表現を生成することができるという。

「例えば、『もふもふ』の数量値結果から、もっとやわらかくてあたたかい表現はないかと思ったときには、やわらかさとあたたかさの尺度を最大にすることで、オノマトペの候補が出力されます。上図の例では、『もふりもふり』や『もふっ』などが生成されています」

オノマトペ印象推定・オノマトペ生成システムの応用範囲は幅広い！

オノマトペ印象推定システム及びオノマトペ生成システムは、商品開発の重要な要素であるネーミングやキャッチコピー、パッケージのデザインなどへ応用することが期待されている。そこで、坂本教授は、学内ベンチャーとして、2018年に感性AI株式会社を起業。「感性AIアナリティクス」と「感性AIブレスト」という2つのマーケティング支援ツールをリリースした。オノマトペによる感性AI構築手法を応用し、ネーミングなどの音の響きやキャッチコピーなどの言葉、パッケージデザインなどの画像がどのような印象かを数値化したり、商品コンセプトに合う提案を生み出したりするツールだ。
例えば、20代女性が「健康」を思い浮かべて、どのような言葉を連想するのか、20代男性ではどうかなどの結果を出力することで、マーケティングに活用しているという（下図参照）。

「現在では、従来の格性年代別に行なったアンケートデータを反映した独自AI言語モデルのブラッシュアップに加え、ChatGPTとも連携させることで、より高精度なマーケティングツールとなっています」

雑多なデータから確率的に生成するのではなく、感性を考慮したツールでもあるため、アウトプットが人間にとってどのような印象を与えるのかという分析・評価もできる点が大きな特色だ。まさに、坂本教授が冒頭で言及した、科学的目標と工学的目標を横断する研究であることがここからもよくわかる。

現在は、オノマトペ（感性データ）から実際のモノをつくり出してシミュレーションを行う「質感シミュレータ」というツールの開発も進んでいるという。例えば、下図のように「もこもこ度」の評価尺度の数値を上昇させてみると質感の変化を確かめることができる。

「感性の言葉を介したシミュレーションを行えることで、モノづくりの現場におけるイメージ共有がより正確なものになります。しかし、その質感を生み出すための成分配合や物性値などを探る段階で時間がかかるという課題もありますが、食品メーカーや素材メーカーなどと連携することで、それらの課題を解決するためのシステムの開発にも取り組んでいます」

マーケティングやモノづくりにおける応用が進んでいる「感性AI」。今後は、医療分野での活用も可能ではないかと坂本教授は期待を寄せる。

「オノマトペと比喩に着目することで、痛みの定量化や認知症の早期診断・予防に活用できるのではないかと考えています。例えば、『ズキズキとした痛み』や『ハンマーで殴られたような痛み』などを定量的に表現することができれば、お医者さんの診断をサポートすることも可能になるのではないかと思っています。また、認知症の初期症状として、質感がわからなくなるという研究発表が多数あり、五感のインタラクションを探ることで、早期診断や予防に寄与するシステムを開発することもできるのではないかと考えています」

坂本教授は、そのほかにもAIを活用した作詞が人の感性にささり、ヒット曲が生まれることが重要であると考え、自身がプロデュースするAI作詞家VTuber fuwariによる音楽活動を展開したり、パンづくりのレシピなどに感性データを活用するユニークな研究にも取り組んでおり、そのバリエーションは到底このスペースでは紹介しきれない。「感性」を考慮したAI研究の応用範囲は幅広く、あらゆる可能性が開かれている。興味がある人は、坂本・松倉研究室のWebサイトやYouTubeなどをチェックしてほしい。
詳細はこちら
坂本・松倉研究室 Products
fuwari channel

感性データは触覚をAIに認識させる切り札になる!?

感性を数値化することはできた。では、それをAIに搭載するにはどのようなハードルがあるのだろうか。多くのAI研究者の壁になっている通り、AIで感性を扱うには、人間のような感覚器官が必要になる。つまり、人間のような身体を通して、五感を知覚する必要がある。高精度カメラや各種センシング機器によって、視覚、聴覚、嗅覚、味覚まで認識できるAIが発達してきた。残るは「触覚」。外界とのインタラクションにおいて重要な役割を担う触覚をAIに認識させるうえで、坂本教授のオノマトペ（感性データ）研究の存在意義は大きい。

「『さらさら』『もふもふ』といったオノマトペを数値化したデータは、物理的世界と知覚と感性を結びつけた複雑な情報をAIに取り込むという大きな研究課題を乗り越える可能性を秘めています。これによってAIやロボットが人間の感性を理解しているような振る舞いをできるようになるかもしれません。これは、まさに日本から世界に発信すべき研究です。感性AI研究の面白さは、今までにない領域にアプローチできることです。文系領域のテーマに感性AIの研究を掛け合わせることで、新たな価値を生み出すことも可能でしょう。感性AI研究によって、人間側の理解が進む可能性もあります。感性を数値化するユニークな研究に興味があるなら、私たちの研究室で一緒に取り組みましょう！」

プロフィール

坂本真樹
電気通信大学大学院情報理工学研究科　教授

東京大学大学院総合文化研究科言語情報科学専攻博士課程修了。学術博士。東京大学助手、電気通信大学講師、准教授を経て、15年より同大大学院情報理工学研究科および人工知能先端研究センター教授。20年より同大副学長。感性AI株式会社取締役COO。著書に『坂本真樹先生が教える人工知能がほぼほぼわかる本』『オノマトペ・マーケティング』など。

研究室の詳細

坂本・松倉研究室

AIによる感性価値創造を目指して、「感性AI」の開発および応用に取り組んでいる。マーケティング支援ツールの開発からモノづくり・空間づくりの研究まで社会実装を意識した取り組みも盛んに行う。坂本教授が起業した感性AI株式会社と連携した実践的な研究環境が整う。
詳細はこちら
坂本・松倉研究室