Machine Impromptu
Introduction
<Machine Impromptu>는 인간 예술의 창의적 과정에서 영감을 받아 인공지능의 알고리즘과 인간의 감성을 연결하는 예술 프로젝트입니다. AI와 연결된 생체 인식 시스템은 물고기를 하나의 음표로 인식해 끊임없이 변화하는 악보를 생성합니다. 물고기의 위치 데이터는 인공지능의 프로그래밍에 따라 무작위의 코드를 반영하는 자연스러운 악보를 작성한 후, 이를 연주합니다. 이는 인간의 창의적 과정이 자연스럽게 사고와 함께 흐르는 방식을 반영합니다.
Machine Impromptu is inspired by the human creative process, connecting artificial intelligence algorithms with human inspiration. It uses randomness to reflect the flow of thought. By treating fish as musical notes, the project generates a constantly changing musical score through a biometric system linked to AI. The fish's position data, influenced by scanning speed, creates random values that reflect gradual changes rather than abrupt shifts. This mirrors the human creative process, flowing naturally with thought.
Mochine impromptu 기계즉흥곡
2017
Water tank, goldfish, metal frame, projecter , PC20.000.000
installation
" 오선지의 물고기 어항은 자연의 우연성을 만들어주는 생체 난수 생성기이자 기계를 동작시키는 트리거이다. 그리고 실시간으로 변화되는 악보를 시각적으로 보여주는 인터페이스가 된다.전시는 수많은 악보를 학습시킨 AI 시스템과 자동 연주 피아노를 연동시켜 물고기가 만들어내는 무작위의 음계를 특정 음악의 스타일로 연주하게 된다.
기본적으로 오선지가 그려진 어항안에 물고기들로 인해 악보를 형상화 시키기고 그 악보를 웹캠으로 스캔하여 실시간으로 사운드를 만들어 내는 사운드 작업이다. 실제 자연의 움직임을 물리적인 악보 구조로 만들고 이는 디지털 화면에서 정보로 변환된다. 물고기와 오선지의 형상을 디지털로 음계 정보를 분류 하고 이는 물리적인 기계장치를 통해 음계로 나누어진 금속판을 두드리며 실시간으로 사운드를 만들어 낸다. "
Machine Impromptu는 네 가지 상호 연결된 시스템으로 구성되어 있습니다.
Machine Impromptu is composed of four interconnected systems.
Aquarium System
검은 금붕어들의 실시간 움직임 데이터를 사용하여 어항에 그려진 오선지를 따라 악보가 생성됩니다. 각 물고기들의 움직임은 선율적 진행에 기여하게됩니다.
The real-time movement data of black fish is used to generate a musical score on a five-line staff*, where each fish’s movement contributes to the unfolding composition.
Scanning System
웹캠이 수족관 내 물고기의 위치를 모니터링하며 음악의 템포를 조절됩니다. 물고기가 헤엄칠 때 작곡의 속도가 변화하는 것은 사고의 유동적인 본질을 반영합니다.
A webcam monitors the fish's position in the aquarium, adjusting the music's tempo based on their movements. As the fish swim, the composition's speed changes, reflecting the fluid nature of thought.
Machine Learning
LSTM 알고리즘을 사용하여 물고기의 움직임 데이터를 처리하고 새로운 음계와 리듬을 생성합니다. 이때 이 음계의 진행은 완전히 무작위적인 것이 아닌 기존에 학습된 코드에 따라 자연스러운 악보로 완성됩니다.
Using LSTM algorithms, the system processes data from fish movements to generate new chord progressions. It focuses on evolving specific chord progressions instead of composing an entire score, allowing for a nuanced exploration of musical possibilities.
*LSTM = Long Short-Term Memory
Automatic Playing System
AI 생성 코드가 스피커에서 연주됨과 동시에 자동 연주 피아노가 금붕어의 움직임에 따라 연주됩니다. 완성된 음악은 물고기의 움직임에 인공지능이 더해진 새로운 합주가 됩니다.
An automatic piano plays music in real-time based on the fish's movements, while additional speakers produce AI-generated chords. This combination creates a unique, continuously evolving melody that reflects the interplay of nature and technology.
금붕어의 유기적인 움직임과 머신러닝의 융합을 통해 Machine Impromptu는 인간의 창의성과 AI 사이의 경계를 모호하게 하며, 예술, 기술, 자연 세계의 교차점을 탐구하는 몰입적 경험을 제공합니다.
Through this integration of organic movement and machine learning, Machine Impromptu blurs the boundaries between human-inspired creativity and AI, crafting an immersive experience that explores the intersections of art, technology, and the natural world.
