Asuka Ishii - Fingertip Sculpting the Ruins

ABOUT

　　This work uses 3D Gaussian Splatting, which reconstructs a 3D model from image input, and infrared touch sensors to explore the ruins of a lumber mill by walking on a map using fingertip gestures. By mimicking the act of exploring the ruins with the fingertips, the viewer's fingers and the algorithm bring to life the human activity that once existed there and the process of its decay.

　The viewer walks around the map of ruins on the desk, making walking gestures with his/her fingertips. The positional information of the fingertips is tracked by infrared sensors, and the camera position and posture are calculated in TouchDesigner based on this information. Then, only the objects in the direction the user is looking are reconstructed in 3D space using Gaussian Splatting in the Unreal Engine and projected onto a projector in front of the user.

　This work was demonstrated at the "Information Processing Society of Japan Symposium on Interaction 2024" as a result of Think & Craft's R&D.

　本作品は、画像入力から3次元モデルを再構成する3D Gaussian Splattingと、赤外線タッチセンサを用いて、指先のジェスチャーでマップ上を歩いて製材所の廃墟を探検する作品です。廃墟の中を探検するという行為を指先で模倣することによって、かつてそこにあった人の営みや、それが朽ちていく過程を、鑑賞者の指とアルゴリズムが浮き彫りにします。

　鑑賞者は机に置かれた廃墟の地図上で、歩くジェスチャーを指先で行い、マップ内を歩き回ります。指先の位置情報は赤外線センサでトラッキングされ、それらをもとにTouchDesigner上でカメラ位置と姿勢を計算します。その後、Unreal Engine上で視線が向いている方向にあるオブジェクトのみがGaussian Splattingにより3次元空間に再構成され、目の前のプロジェクターに投影されます。

　本作品はThink & CraftのR&D成果として「情報処理学会シンポジウムインタラクション2024」にてデモ発表を行いました。

WORK

In this work I provided direction, wrote the paper, concept, finger state monitoring using infrared sensors, computed camera information, and implemented the state machine.

本作品では、ディレクション、論文執筆、コンセプト、赤外線センサを用いた指の状態監視、カメラ情報の計算、ステートマシンの実装を行いました。

AWARD / EXHIBITION / CONFERENCE

・[Exhibition] Think&Craft Open Studio #0 (2023.12.22 at Think&Craft)

・[Conference] インタラクション2024 デモ発表 (2024.3.6 at 学術総合センター内一橋記念講堂)

PHOTOGRAPH