デジタルヒューマンの活用が進む中，より豊かで自然な動作をもっと手軽に表現したいというニーズが高まっています．こうした中，我々は，音声から表情・手指・全身の動きを長時間生成し，姿勢や参考動作で制御できるAI「DynaConTalk（ダイナコントーク）」を開発しました．動きを速さごとに分けて学習し，発話のリズム，声，言葉の情報を動的に使い分け，単調な身振りや不自然な揺れを抑えました．
AI分野で注目される最新の公開データセット「BEAT2」と「SHOW」で，生成動作と実際の動作の分布の近さを測る指標FGD（フレシェ開始距離）を，従来の最良値からそれぞれ約51％，約29％低減しました．30名による評価でも，自然さ，発話内容との一致，同期性，多様性で最も高い平均評価を得ました．
本研究成果は，2026年11月9日に出版されたACM Transactions on Graphicsに掲載され，12月1日～4日にマレーシア・クアラルンプールで開催されるコンピュータグラフィックスとインタラクティブ技術の国際会議・展示会 SIGGRAPH Asia 2026のTechnical Papersで発表する予定です．
テーマ
音声に合わせて自然に動く3DデジタルヒューマンAIを開発 ― 表情・手指・全身動作をなめらかに生成、姿勢や動作も柔軟 ―
- 生成動作のウェーブレット分解の例．左は3Dデジタルヒューマンの動作，右上は低速から高速までの4つの時間周波数成分（姿勢・身振り・ストローク・細部），右下は部位ごとの帯域エネルギーを示す．
- 同一音声発話に対する全身動作の比較．左からSemTalk，提案手法（DynaConTalk），EMAGE．提案手法では発話内容に対応した身振りがより明確に現れている．
主な研究成果・対外発表
- Yifei Zhu, Yangyang Cai, Mingyi Shi, Miao Cheng, Lin Gu, Taku Komura, Yoshifumi Kitamura: DynaConTalk: Wavelet-Constrained Diffusion for Long-Form and Controllable Holistic Co-Speech 3D Motion, ACM Transactions on Graphics, Vol. 45, No. 6, Article 194.
- プレスリリース
Results in Japanese are described in Japanese.