DIGITAL GESTURES

Modern Technology and Body Interaction

Korean English

기술의 발전이 우리 신체의 습관과 기억에 어떤 영향을 미칠까? 디지털 제스처는 단순히 새로운 소통 방식일까, 아니면 우리 삶의 깊은 변화를 의미할까? 우리는 현대 사회에서 디지털 기술과 신체의 상호작용을 탐구하며, 미래의 신체가 어떻게 기억되고 활용될지에 대한 질문을 던집니다. '디지털 제스처' 프로젝트는 기술이 우리의 일상적인 몸짓에 어떤 변화를 가져오는지, 그리고 이러한 변화가 우리의 미래 신체에 어떤 영향을 미칠지에 대한 심도 깊은 연구를 진행합니다.

팬데믹으로 비대면 시대가 도래하며, 터치스크린을 통한 소통이 일상화되었다. 사라진 신체의 공간, 비물질적 세계는 적극적으로 환영(歡迎)받는다. 매장에는 환영(歡迎)을 대신하는 키오스크가 설치되고, 미술관은 온라인으로 접속 가능하며, 화상통화로 파티를 즐기는 시대가 되었다. 기술이 보여주는 생경하고 무한한 환영(幻影) 속, '디지털 기술 발전의 뒤에 남겨지는 것들'과 '연결되어 있다는 환영(幻影)'에 대해 문제의식을 갖고, 동시대 신체의 일상적인 움직임을 관찰하며 기술의 이면에 존재하는 신체를 고찰해본다.

디지털 제스처와 제3의 기억

기술 사회의 가속성이 신체의 기억과 습관 생성에 미치는 영향을 스티글레르의 후천성 계통발생[1]과 제 3의 기억, 그리고 시몽동의 개체화 개념을 통해 탐구한다. 특히, 스티글레르의 이론을 중심으로 디지털 제스처를 제3의 기억으로 바라보고, 이러한 제스처가 미래 신체의 공통의 습관이 될 가능성을 살펴보고자 한다. 스티글레르의 제3의 기억 개념에 따르면, 제1의 기억은 DNA에, 제2의 기억은 학습과 경험에, 제3의 기억은 외재화된 코드(언어)에 저장된다. 제3의 기억은 인간이 만들어낸 외재화된 인지적 저장소로, 언어, 글, 디지털 코드 등을 포함한다.
디지털 제스처는 터치스크린, 가상현실, 증강 현실 등의 디지털 환경에서 사용자가 디지털 환경에서 상호작용할 때 사용되는 물리적 동작이다. 스마트폰의 스와이프, 탭, 핀치 투 줌 등의 동작이 이에 해당한다. 디지털 제스처는 이처럼 특정 손동작을 활용한 인간과 기계간의 소통을 가능하게 하는 새로운 형태의 코드이며, 기술 매체를 매개로 사회적으로 공유되는 형태의 기억이다.

디지털 시대의 신체적 제스처: 진화와 변화

과거 신체의 움직임들은 생존을 위한 선재 기억으로 우리 몸에 스며들어 있다. 그렇다면 새로운 기술의 발명과 그에 따라 생겨난 신체의 움직임들은 어떤 형태로 기억되고 변화할까. 신체는 기술과의 상호작용을 통해 새로운 형태의 움직임을 학습한다. 새로운 형태의 움직임의 종류와 그 움직임이 기능하는 방식에 대해 살펴보았다.

1. 다양한 갈래의 기술 제스처 탐색
a. 핑거 제스처 기반의 터치스크린에서의 제스처 [2]
- 터치스크린 기술에서 파생된 다양한 핑거 제스처들은 현대인의 일상적 상호작용 방식에 깊이 뿌리내렸다. 예를 들어, 스와이프, 탭, 줌 등의 동작은 일상적인 스마트폰 사용에서 빈번히 나타나며, 이는 사용자의 신체적 기억에 깊이 각인된다.
- 입력 장치 분류표[3]를 참고하여 다양한 입력 장치와 그에 따른 제스처들을 체계적으로 정리할 수 있다. 주로 마우스, 키보드, 컨트롤러 등과 같은 물리적 장치들을 통한 동작과 터치스크린, 뎁스 카메라 등 직접 체스처 동작으로 구분할 수 있다.

“제스처 관련 상향식(bottom up) 접근방식은 탐험적 발견과정(exploratory phase)로 정의될 수 있다. 사용자들에게 특정 기능을 수행하라는 요구가 주어졌을 때, 사용자들이 자연스럽게 연상하는 제스처를 수행하는 탐험적 방식을 뜻하며, 스테레오타입 조사연구[6]로도 알려져 있다.(···)하향식 (top down) 접근방식은 시스템의 기능적 요소를 표현할 수 있는 메타포어를 기술적, 이론적 배경으로 도출, 이를 1:1로 기능과 매핑하여 제스처를 적용하는 모델링 기반 방식이다. 따라서 하나의 제스처가 하나의 기능에 명확하게 대응하는 기술적 완결성을 지닌다. 그러나 상대적으로 인위적인 제스처 디자인이 발생하므로, 사용자들의 학습이 요구되는 단점이 있다.” <유승헌, 이태일, “공간 제스처 UX (Airtouch UX) 디자인을 위한 정보 디스플레이 코드 활용”.2013> 발췌

b. 기술 제스처의 확장-기술 밖에서 발견되는 제스처들
기술적 맥락에서 생겨난 제스처들은 기술의 부재에도 (그 기능이 발생하기를 바라면서 동일한 의도를 가지고) 나타나는 것을 관찰할 수 있다. 예를 들어, 수화기 모양 손 제스처, 종이책에 확대 제스처, 상호작용 기능이 없는 모든 스크린에 스크롤 하려는 제스처 등이 있다. 이러한 제스처들은 디지털 환경에서 형성된 후, 실제 생활에서도 반사적으로 나타나는 경우가 많다. 이는 디지털 기술이 우리의 신체적 습관에 깊이 스며들었음을 보여준다.

2. 디지털 시대의 3차원적 신체 움직임
a. 디지털 시대의 신체적 제스처: 2차원에서 3차원으로
- 디지털-신체의 상호작용은 기술의 발전에 따라 움직임이 변화하고 있다. 초기에는 마우스와 키보드와 같은 입력 장치들이 3차원적 움직임을 허용했지만, 모바일 디바이스의 등장으로 스크린 매체가 주류가 되면서 움직임이 2차원적으로 축소되었다. 최근에는 증강현실(AR)과 가상현실(VR) 기술의 발전으로 다시 3차원적 움직임이 가능해졌다.
- 이러한 변화는 신체의 자유도를 증가시켰다. 과거에는 고립된 움직임으로 하드웨어를 조작하는 데 그쳤다면, 이제는 공간적 제약 없이 신체의 다양한 부위를 사용하여 더 복잡한 입력을 처리할 수 있게 되었다. 예를 들어, 음성 명령, 눈 깜빡임, 신체 전체의 움직임 추적 등이 포함된다.
- 그러나 기능적 움직임을 수행하기 위한 목적에서의 제한된 움직임이라는 점은 변함이 없다. 이러한 변화는 기술이 신체의 움직임을 어떻게 제한하고, 또 어떻게 확장시키는지를 보여준다. 예를 들어, VR 환경에서 사용자는 손과 팔을 더 많이 사용하게 되며, 이는 더 자연스러운 상호작용을 가능하게 하지만, 여전히 시스템의 제약 내에서 움직여야 한다.

디지털 제스처의 사례와 발생과정을 들여다보았을 때, 디지털이 우위성을 갖는다는 사실을 발견한다. 디지털 기술을 위해 디자인된 동작들은 주로 엔지니어와 시장으로부터 형성되며, 디지털 제스처는 투명하다는 착각을 불러일으킨다. 현대인의 일상 기술 경험은 그 기능적 합리성 논리에 지배된다. 디지털 기술을 위해 디자인된 동작들. 단순화, 단일화, 언어화된 제스처들을 떠올려 보라. 세탁기 알림음, 도어록, 핸드폰 벨소리 등 사적인 공간 속에서 들리는 공통의 소리 경험 또한 현대인의 일상에서 공통된 개인적 경험을 형성한다. 이러한 소리는 개인의 경험을 넘어 사회적 상호작용의 일부로 자리잡는다. 플로피 디스크 저장 버튼, 수화기 통화 버튼 등 실물을 바탕으로 하지 않고 이미 형태 재인 과정을 거쳐서 디자인된 UI를 형태 원형으로 인지하는 세대가 등장한다.

타 개체들과 마찬가지로 우리의 신체 또한 주위 환경과 소통하고 관계 맺으며 존재한다. 디지털 네트워크는 개인의 기억을 외재화하여 대중과의 관계 맺음, 개체를 초월한 소통을 가능하게 하지만, 획일화된 기술 경험은 현대인의 몸이 공허한 미메시스를 반복하도록 만든다.

질문들

선재 기억이 없는 제스처(기술 디지털 제스처)는 어떻게 공통의 기억이 될까?
기술은 신체의 기억과 습관 생성에 어떤 영향을 미칠까?
새로운 개인의 습관들은 다양성을 띨 수 있을까?
동시대인들의 신체는 무엇을 행하고 있는가?
신체는 기술의 연장선에서 어떻게 존재하는가?
이와 같은 질문과 함께 미래의 행동 실마리를 탐색하고 제스처의 특이점을 향해 실험적으로 접근한다.

Related Works

사진 아카이브 작업을 시작으로,《Future Utilization of the Body》 시리즈가 제작되었다.《Future Utilization of the Body》는 기술 미디어 환경에서 신체의 회복 가능성을 다각도로 탐색하며, 매체에 구애받지 않는 자유로운 연출과 표현을 통해 해당 주제를 탐구한 시리즈 작업이다. 작품들은 신체를 중심으로 각각 ‘신체에 대한 향수, 신체에서 분열된 기억의 재현, 낯선 모습으로 돌아온 신체의 흔적’의 3가지 단계의 시나리오로 전개된다.