Project

テーマ

日本人と台湾人によるボディーランゲージのデータベースを構築・公開 ― アジア文化圏における感情理解と産業応用に貢献

連絡先riec-diem-a[@]grp.tohoku.ac.jp

ボディーランゲージという言葉があるように、私たちは日々の生活の中で感じたことをしばしば身体を使って表現します。しかし、異なる感情を伝える際に私たちがどの部位をどのように動かすのかについては多くのことが明らかになっていません。

我々は、台湾の国立中正大学との共同研究により、欧米諸国で作成されたデータベースに頼ることなくアジア文化特有の感情表現を紐解くため、アジア人を対象とした多様な感情を対象とした身体動作データベースDIEM-A (Diverse Intercultural E-Motion Database of Asian Performers)を構築しました。このデータベースには12の感情とニュートラル状態の感情表現が収録されているのが特徴で、97人のプロの役者(日本から54人、台湾から43人)による10,000を超えるモーションキャプチャデータ、役者によるシナリオが含まれています。

本成果は、オーストラリアのキャンベラで2025年10月8日に、情動コンピューティングと知能的インタラクションに関する国際会議 13th International Conference on Affective Computing and Intelligent Interaction (ACII 2025)で発表しました。論文はIEEE Xplore で公開される予定です。 また国際会議での発表に合わせて、データベースを研究用に無償で提供を開始しました。

私たちは日々のコミュニケーションの中で様々な情報を交換しています。ニュースのような事実のほか、楽しい、嬉しい、悲しい、寂しい、といった感情は重要な情報となります。感情は顔・表情によって伝えられるほか、身体動作によってもしばしば表現されますが、異なる感情を伝える際に私たちがどのような部位をどのように動かすのかについては、依然として明らかになっていないことの方が多い状況でした。また、身体による感情表現を紐解くうえで文化の影響は無視できないほど大きいものの、現在利用可能なデータベースは、そのほとんどが欧米諸国で作成されたものであり、文化的に偏ったものでした。加えて、それらの動作データベースは単純な反復運動(歩行動作など)を扱うものも多く、動作のレパートリーや感情が表出される文脈という点でも大きな制限がありました。

これまでのデータベースに含まれていた限界を克服するため、そしてアジア文化特有の感情表現をより深く理解していくため、我々は、台湾の国立中正大学との共同研究により、アジア人を対象とした多様な感情を対象とした身体動作データベースDIEM-A (Diverse Intercultural E-Motion Database of Asian Performers)を構築しました。このデータベースには12の感情(喜び、悲しみ、怒り、驚き、恐れ、嫌悪、軽蔑、感謝、罪悪感、嫉妬、恥、誇り)とニュートラル状態の感情表現が収録されているのが特徴で、97人のプロの役者(日本から54人、台湾から43人)による10,000を超えるモーションキャプチャデータが含まれています。各感情カテゴリーは、各役者ー自らが用意した3つのオリジナルシナリオで構成され、3つの強度レベルで身体動作が収録されています。役者が感情を表出する際に作成・利用したシナリオは日本語、英語、中国語で提供され、感情の誘因となる文化的な背景を詳細に説明する文脈情報が含まれています。

世界初となるアジア人による感情を表す身体動作データベースは、動作に基づく感情理解を目指す研究や、感情豊かなアバタの動き生成の研究などに活用してもらうために、研究者には無償で配布を開始します。これらの研究を通して、キャラクターアニメーションやメタバースなどアバタによるバーチャルコンテンツなどを制作する産業界の要請にも応えることができます。将来的には、特定の感情を表す際の独特の動作パターンを検出し、それらの文化的差異を明らかにすることで、異文化間のコミュニケーションや相互理解を促進する研究や、それを応用したコミュニケーションツールの開発、さらに、モーションキャプチャ技術を利用する産業(ゲーム、映画、アニメーション、VRなど)への応用にも展開できればと考えています。

データベース構築の様子。(A)東北大学 電気通信研究所(日本)、(B)国立中正大学(台湾)。プロの役者が主要な関節点にマーカーが付いたモーションキャプチャスーツを着用し、全身を使って個別の感情シナリオを演じた。
データベース構築の様子。(A)東北大学 電気通信研究所(日本)、(B)国立中正大学(台湾)。プロの役者が主要な関節点にマーカーが付いたモーションキャプチャスーツを着用し、全身を使って個別の感情シナリオを演じた。
多様な感情や文化に伴う身体動作データベースDIEM-Aのデータをアバタの動きとして閲覧するシステム
多様な感情や文化に伴う身体動作データベースDIEM-Aのデータをアバタの動きとして閲覧するシステム
国際会議 ACII 2025 での発表の様子
国際会議 ACII 2025 での発表の様子