About
What images do you have when you see the strings of letters “Buba” and “Kiki”?
“Buba looks big and soft” and ”Kiki looks spiky and shiny.”
We associate shapes and textures with even meaningless strings of letters.
Furthermore, it is said that these images are similar even between people who speak different languages.
So, what images does AI, which has no physical sensation,
associate with?
Bova-Kiki's Garden
This is a garden made up of images generated by AI from the character strings you enter.
Is it as you imagined? Or something unexpected?
Please enjoy the difference between humans and AI in linking letters and shapes,
and try creating images together.
“Buba looks big and soft” and ”Kiki looks spiky and shiny.”
We associate shapes and textures with even meaningless strings of letters.
Furthermore, it is said that these images are similar even between people who speak different languages.
So, what images does AI, which has no physical sensation,
associate with?
Bova-Kiki's Garden
This is a garden made up of images generated by AI from the character strings you enter.
Is it as you imagined? Or something unexpected?
Please enjoy the difference between humans and AI in linking letters and shapes,
and try creating images together.
This content was created as an experience-based content with the theme of whether AI can also acquire the synesthesia of the sounds and shapes that humans perceive.
First, we had ChatGPT read in shapes created by humans and give them names based on the images they perceive from the shapes. This produced outputs that were similar to the sensations that humans perceive in the Bova-Kikki effect. We then planned this project based on the idea that it would be possible to generate images of shapes perceived from text using this.
For the implementation method, we prepared data that converted the ChatGPT-generated names and shapes into prompt text. We then prepared a GPT that would output prompts for the input text, referring to these as an additional data set.
In terms of the production side, we are trying to make the images have an analog feel in terms of style and animation, so we are adding learning of origami and other textures to generate images, and moving the animation in a stop-motion style.
First, we had ChatGPT read in shapes created by humans and give them names based on the images they perceive from the shapes. This produced outputs that were similar to the sensations that humans perceive in the Bova-Kikki effect. We then planned this project based on the idea that it would be possible to generate images of shapes perceived from text using this.
For the implementation method, we prepared data that converted the ChatGPT-generated names and shapes into prompt text. We then prepared a GPT that would output prompts for the input text, referring to these as an additional data set.
In terms of the production side, we are trying to make the images have an analog feel in terms of style and animation, so we are adding learning of origami and other textures to generate images, and moving the animation in a stop-motion style.
I was in charge of the prototype and AI implementation.
「ブーバ」や「キキ」という文字列に、
あなたはどんなイメージを持ちますか？
「ブーバは大きくて柔らかそう」「キキはトゲトゲ光ってそう」
私たちは、意味がないただの文字列にも、形や質感を連想します。
しかもそのイメージは、言語が異なる人間同士でも、似たものになるのだとか。
では、身体感覚を持たないAIは、
どんなイメージを連想するのでしょうか。
《ブーバ・キキの庭》
これは、あなたが入力した文字列から、
AIがイメージを生成、それらが集まった庭です。
想像通り？ それとも予想外？
文字と形の紐付けにおける人間とAIの差を楽しみながら、
一緒にイメージを作ってみてください。
あなたはどんなイメージを持ちますか？
「ブーバは大きくて柔らかそう」「キキはトゲトゲ光ってそう」
私たちは、意味がないただの文字列にも、形や質感を連想します。
しかもそのイメージは、言語が異なる人間同士でも、似たものになるのだとか。
では、身体感覚を持たないAIは、
どんなイメージを連想するのでしょうか。
《ブーバ・キキの庭》
これは、あなたが入力した文字列から、
AIがイメージを生成、それらが集まった庭です。
想像通り？ それとも予想外？
文字と形の紐付けにおける人間とAIの差を楽しみながら、
一緒にイメージを作ってみてください。
本コンテンツは、人間の感じる音と図形との共感覚をAIも取得しているのかという事をテーマにし、体験コンテンツとして制作しています。
まず、人間の作った図形をChatGPTに読み込ませ、形状から感じるイメージで名前を付けてもらいました。すると、ブーバ・キキ効果に人間が感じる感覚と近いものを出力してくれました。これを使えばテキストから感じる形状の画像を生成する事ができるのではないかという事から企画をして行きました。
実装方法としてはChatGPTの考えたネーミングと、図形をプロンプトテキストに変換したデータを用意。それらを追加データセットとして参照し、入力したテキストに対してプロンプトを出力するGPTを用意。
演出面では画風やアニメーションもアナログ感をもった画像にするために、折り紙などのテクスチャを追加学習させ画像生成をし、アニメーションをコマドリ風に動かすことに挑戦しています。
まず、人間の作った図形をChatGPTに読み込ませ、形状から感じるイメージで名前を付けてもらいました。すると、ブーバ・キキ効果に人間が感じる感覚と近いものを出力してくれました。これを使えばテキストから感じる形状の画像を生成する事ができるのではないかという事から企画をして行きました。
実装方法としてはChatGPTの考えたネーミングと、図形をプロンプトテキストに変換したデータを用意。それらを追加データセットとして参照し、入力したテキストに対してプロンプトを出力するGPTを用意。
演出面では画風やアニメーションもアナログ感をもった画像にするために、折り紙などのテクスチャを追加学習させ画像生成をし、アニメーションをコマドリ風に動かすことに挑戦しています。
石井はプロトタイプ、AIの実装を担当しました。
Information
Creative Director
真子 千絵美
Creative Technologist
諸星 智也
Technical Director
村田 洋敏
Engineer
石田 一帆
Engineer
石川 達哉
Designer
駒本 幾子
(電通クリエーティブX)
Designer
井村 俊之
(電通クリエーティブX)
Assistant Engineer
石井 飛鳥
Assistant Engineer
白井 雅也