水流を観測データから深層強化学習で再現
Let it flow: Recreating Water Flow for Virtual Reality
従来の流体シミュレーションは,様々な物理特性を仮定して流体の動きを全て計算していましたが,実際の一部の液体の動きを観測できたとしても,それを利用して液体全体の動きを計算して再現する手法はありませんでした.そこで我々は,実観測データを利用できる新しい流体シミュレーションの方法を開発しました.深層強化学習で,少数の限られた観測データをもとに液体全体の動きをリアルタイムで計算して再現することができます.これにより,目前の実際の水の動きを,たとえそれに人がランダムにかき混ぜる等の外乱を与えた場合でも,バーチャル空間内で正確にリアルタイムに再現することができます.そこで,防災(治水)や建設工事などのために離れた場所での直感的なデータ共有できたりするようにもなると考えています.
なお,液体の動きのリアルタイム計測には,電気通信研究所で2020年に開発した「磁気式3次元モーションキャプチャの新方式」を利用しました.
本研究成果は,2023年9月17日に米国計算機学会(ACM:Association for Computing Machinery)の科学誌 ACM Transactions on Graphicsのオンライン速報版に掲載され,コンピュータグラフィックスとインタラクティブ技術のトップコンファレンス SIGGRAPH Asia 2023(12月12日~15日,オーストラリア・シドニー)で口頭発表されました.
なお,日刊工業新聞(2023年9月21日 25面)で取り上げられました.「東北大、深層学習使い新手法」
また,コンピュータグラフィックスおよび関連分野の国内学術研究シンポジウム Visual Computing 2024 の SIGGRAPH 招待講演セッションで招待講演を行いました.
テーマ
リアル/フィジカル空間での流体に対するインタラクションをサイバー/バーチャル空間で共有
主な研究成果・対外発表
- Kinfung Chu, Jiawei Huang, Hidemasa Takana, and Yoshifumi Kitamura. Real-Time Reconstruction of Fluid Flow under Unknown Disturbance, ACM Transactions on Graphics, Volume 43, Issue 1, Article No. 4, pp 1–14, October 2023.
- Jiawei Huang, Ryo Sugawara, Kinfung Chu, Taku Komura, and Yoshifumi Kitamura. Reconstruction of Dexterous 3D Motion Data from a Flexible Magnetic Sensor with Deep Learning and Structure-aware Filtering. IEEE Transactions on Visualization and Computer Graphics 28, 6 (2022), 2400–2414.
- 【プレスリリース】 水流を観測データから深層強化学習で再現 ―目前の水流の遠隔地への伝送や水を使うVR体験の新たな可能性
- 「東北大、深層学習使い新手法」日刊工業新聞 2023年9月21日 25面 科学技術・大学
Results in Japanese are described in Japanese.