미국의 럿거스 대학교, 노스 캐롤라이나 샬럿 대학, 리하이 대학교 그리고 중국의 홍콩 중문 대학의 컴퓨터 공학 및 엔지니어링 연구팀이 2016년 12월 10일, 텍스트 내용을 기반으로 고화질 이미지를 합성하는 인공신경망에 대한 논문(arxiv.org/abs/1612.03242)을 발표했다. 이를테면, '곡선 형태의 두꺼운 부리를 가진 검은색 새(An all black bird with a distinct thick, rounded bill)'라는 텍스트를 입력하면, 인공신경망이 그에 맞춰서 실제 사진 같은 그럴듯한 이미지를 합성해내는 것이다.
기존에도 텍스트를 기반으로 이미지를 생성하는 응용 프로그램들이 있었지만, 주어진 텍스트의 의미를 대략적으로만 반영하는 것에 그쳤다. 연구팀이 개발한 인공신경망은 총 두 단계를 거쳐서 텍스트의 설명을 모두 반영한 생생한 이미지를 합성한다. 첫 번째 단계에서는 텍스트 설명을 바탕으로 기초적인 모양과 색상을 스케치하여 저해상도 이미지를 산출한다. 두 번째 단계에서는 세부 사항을 모두 고려하여 256x256 크기의 실제 사진 같은 고화질 이미지를 만들어낸다.
이는 아티스트, 일러스트레이터 등이 먼저 스케치 작업을 한 후에 세부 사항을 추가하는 작업 과정과 매우 비슷하다. 인공신경망이 얼굴, 교통 표지판, 손글씨 등을 인식하는 과정을 거쳐서 그 과정에서 쌓은 무수한 데이터를 기반으로 스스로 무엇인가를 만드는 과정까지 도달한 것이다.
StackGAN, Rutgers University, University of North Carolina at Charlotte, Lehigh University and The Chinese University of Hong Kong
- 1