“‘배리어 프리(barrier free·무장벽)’로 통용되는 문화예술 청각 접근성 기술은 시·청각 장애인 관객들이 관람 장벽을 넘어서도록 돕는 ‘발판’입니다. 지역에서도 연구가 활성화돼 앞으로 차별 없는 공연가 풍경을 볼 수 있다면 좋겠네요.”

최근 만난 광주과학기술원(지스트) 융합기술학제학부 송은성 교수와 전기전자컴퓨터공학부 학생들은 자신들이 개발한 배리어 프리 미디어 기술의 취지를 이렇게 설명했다.

송 교수는 최근 이헌효(24), 김예훈(23), 김은영(23)씨와 함께 ‘상호작용형 음성 동적 시각화 시스템’, ‘비주얼 아트 기반 자동 음악생성 시스템’을 선보였다.

송 교수는 “‘상호작용형 음성 동적 시각화 시스템’은 AI(인공지능)가 두 사용자의 음성을 실시간으로 감지해 음량 변화에 따라 그래픽을 생성하는 기술이다”며 “청각 요소를 시각으로 확장시켜 관객들에게 다감각적 체험을 선사하는 데 의미가 있다”고 설명했다. 이 기술을 활용하면 청각 장애인이라도 시각화된 음량 요소(음성의 톤, 세기, 주파수 등)를 볼 수 있다.

아울러 ‘비주얼 아트 기반 자동 음악생성 시스템’도 흥미로운 기술이다. 사용자가 그림을 그리거나 사진을 입력하면 AI가 이를 분석해 음악으로 자동 변환, 누구나 자신의 창의력을 화폭에 실현할 수 있다.

송 교수는 “이미지를 픽셀(점) 단위로 세분화한 뒤 다시 음표로 변환하는 매핑 알고리즘이 시스템의 핵심 원리”라며 “이미지에 구현된 점의 분포와 밀도는 시간 흐름을, 위아래 움직임은 음고와 박자 등을 지시한다”고 부연했다.

이와 맞물려 송 교수는 인간의 감각을 미디어·AI 기술로 표현하는 ‘광주 센서리엄’ 전을 오는 12월 15일까지 무등현대미술관에서 진행 중이기도 하다. 또한 이들 팀은 최근 부안 무경계 페스티벌 ‘날다’에서 인터랙티브 예술 체험 부스를 선보인 바 있다. 12월에는 지스트 중앙도서관에서 무경계 전시 ‘Beyond the Boundaries’도 앞두고 있다.

공연 분야 외에도 팀은 다양한 시도를 해왔다. 귀가 아닌 치아로 소리를 증폭시키는 ‘골전도 치아보청기’는 대표적인 예다. 증폭기와 리시버를 통해 소리를 키우는 일반 보청기와 달리 치아를 매질로 활용해 효율이 높다고 한다.

이 밖에 그가 특허를 낸 ‘소음 감쇄 장치 및 방법’, ‘치과 유니트 체어용 헤드레스트’, ‘촉각감응형 매트리스’ 등도 일상 속 불편 사항을 개선하기 위한 소리 공학적 아이디어들이다.

이런 활동으로 송 교수는 SBS 장애인의 날 특집 다큐 286회 ‘누리엄마 소리에 도전하다’, YTN Science ‘데이터 청각화편’ 등에 출연한 바 있다.

“단지 장애가 있다는 이유 하나로 문화예술을 향유하는 데 제약을 받는 사람은 없었으면 합니다. 그것이 앞으로도 제가 ‘배리어 프리’ 기술에 주목하려는 이유입니다.”

/글·사진=최류빈 기자 rubi@kwangju.co.kr