서울대학교 공과대학은 김성우 교수가 참여한 자율로봇지능 연구실이 노소영 관장의 아트센터 나비와 공동으로 연구하고 개발한 AI ‘젠이’와 AI 프로젝트 ‘#젠이챌린지’를 공개한다고 발표하였습니다. 이번 프로젝트는 멀티모달 임베딩(Multimodal Embedding) 인공지능 기술을 적용했으며, 문화체육관광부 및 한국콘텐츠진흥원의 2020년 문화기술연구개발지원사업 ‘문화콘텐츠 R&D 전문인력 양성-예술·과학 융합프로젝트’의 지원으로 진행되었습니다.
해당 프로젝트는 방대한 정보를 구축하고자 1만여편의 영화에서 AI로 20만장에 달하는 주요 장면 정보를 추출해 주요 구도, 인물 배치, 배경을 스케치화 하였습니다. 이어 사용자가 줄거리나 대사 등의 문장을 입력하면 적절한 스케치를 제안합니다. 이 과정에 멀티모달 임베딩 기술이 사용되었는데요. 이는 문장과 영상을 같은 벡터 공간에 매핑해 문장과 영상 사이에 변환·번역을 가능하게 하는 기술로, 사용자가 입력한 문장에 가장 관련도가 높은 영상을 접근할 수 있게 해줍니다.
문화 예술이 기술에 목표를 제공하고 신기술이 영감을 제시하는 선순환 구조 아래 아트센터 나비와 서울대학교 공과대학의 연구원들이 시작부터 모든 과정에서 긴밀히 협업하고 있다고 전하였습니다. 일반적으로 창작자가 영감을 얻고 첫 스케치를 그리기까지 많은 시간이 걸린다는 점에서 착안해, 이를 도울 수 있는 AI 기반 창작 스케폴딩을 제안하고 시연합니다. 아트센터 나비와 서울대학교 공과대학 공동 연구팀은 웹툰, 영화, 웹소설 제작 시나리오 등 다양한 콘텐츠 영역으로 쓰임을 확장할 수 있도록 꾸준히 공동 연구를 지속할 예정입니다.
또 공동 연구팀은 개발한 기술에 관한 13편 이상의 논문을 세계 최고 수준의 국제 학술지와 주요 학술 대회에 발표했으며, ‘문장 기반 스케치 추천 시스템 및 방법’과 ‘그래픽 유사도를 활용한 연속 이미지 검색 시스템’ 등의 관련 기술을 다수 특허화하였습니다.
서울대학교 공학전문대학원 객원교수를 겸하고 있는 노소영 관장은 “한국콘텐츠진흥원 도움으로 공학도와 예술학도가 만나 놀라운 결과물을 만들어냈다”며 “각자의 영역을 배우고 서로 의견을 교환하며 진정한 의미의 융복합 전문 인력이 탄생할 수 있었던 기회였다”고 협업 프로젝트 소감을 밝혔다. 김성우 교수는 “앞으로도 협업을 이어갈 예정”이라며 “AI 기술이 창작의 다양한 영역으로 확장되기를 기대한다”고 말하였습니다.?
