생성형 인공지능이 등장하고 나서 창작자들은 또 하나의 만능 무기를 갖게 됨과 동시에 창작 영역에서 사람의 설 자리가 줄어드는 건 아닌지 걱정하기 시작했다. AI 수업 과정을 통해 학생들을 가르치면서 창작 작업을 하는 김승욱 교수와 5월 14일, 생성형 인공지능 활용과 창작 및 예술의 미래에 대해 인터뷰했다.
• 지금까지 어떤 창작 작업을 하고, 현재는 무슨 일을 하고 계신가요?
원래는 고전 음악을 하다가 컴퓨터를 좋아해서 상명대에서 미디 음악을 공부했어요. 디지털카메라를 만지다가 강남에서 사진 스튜디오를 운영하기도 했고요. 사운드와 영상 편집 일과 함께 지금은 광운대학교 정보과학교육원 게임학과에서 학생들을 가르치고 있습니다.
• 생성형 인공지능은 어떤 계기로 접하게 되셨나요?
한참 메타버스 얘기를 많이 할 때 공부하면서 NFT랑 블록체인이 중요하다고 생각했어요. 그러다가 챗GPT 3.0이 나오고, 유튜브를 많이 찾아봤죠. 게임에서는 게이머가 조종하지 않는 캐릭터를 NPC(Non-player Character)라고 하는데, 인공지능이라면 지금과 많이 달라질 수 있다는 얘기를 들었거든요.
2025년 1월 6일 게이머와 상호작용하는 게임 캐릭터 https://trenddb.com/case/1585726
• 강의를 준비하시거나 창작 작업을 할 때 어떤 식으로 인공지능을 활용하시는지 궁금해요.
지금은 모든 걸 인공지능으로 작업한다고 볼 수 있죠. 영감을 찾는 것도 인공지능과 대화하면서 발전시켜요. 우선 지금부터 뭘 해야 할지부터 물어봐요. 예를 들면, 챗GPT가 사람들이 휴식하면서 듣는 음악을 좋아한다고 해서 로파이 음악 느낌으로 만들었죠. 그리고 덩치가 큰 동물과 같이 있는 이미지를 넣고 싶었어요. 그래서 스물 몇 곡을 시험 삼아 만들었는데, 생각보다 돈이 많이 들더라고요.(웃음) 유튜브에 처음 올리는 거라서 거의 10만원 정도 들었어요.
2025년 4월 18일 고요한 휴식, 명상 음악, 스튜디오 듀니크 https://youtu.be/ycVVXKXQIbA
• 인공지능으로 작업하면 생각한 만큼 결과물이 잘 나오지 않던데, 어떻게 해야 하나요?
이미지가 가장 중요합니다. 왜냐하면 아직은 글로 동영상을 만드는 게(Text to Video) 완벽하지 않고, 무엇보다 캐릭터의 일관성을 유지하기가 어렵거든요. 그래서 원하는 구도나 환경, 인물의 이미지를 정확하게 만들고, 그것을 기반으로 영상 작업을 해야 합니다. 그리고 음악 작업은 스노 AI에서 만든 음악은 밴드랩에서 마스터링을 한 번 더 거쳐요. 물론 인공지능 발전 속도가 매우 빨라서 현재의 한계는 금방 극복하리라고 봅니다.
Suno https://suno.com
BandLab https://www.bandlab.com
• 잘 된 동영상을 보면 따로 편집 프로그램으로 작업한 느낌이 많이 나기도 하더라고요.
최근 미드저니의 편집 기능이 7로 갱신되면서 모든 구독자가 쓸 수 있게 됐는데요. 생성형 인공지능으로 좋은 장면을 만들려면 좋은 이미지를 생성한 다음에 편집을 잘하는 게 중요해요. 예를 들면, 어떤 공간에 사람이 서서 얘기하는 것과 앉아 있는 걸 표현하고 싶으면 그 부분만 수정해야 일관성 있는 이미지를 만들 수 있거든요. 그리고 매그니픽 인공지능을 이용해 이미지를 업스케링하면 동영상 질이 좋아져요.
Midjourney https://www.midjourney.com
Magnific https://magnific.ai
인공지능과 대화하며 맥락을 이어가는 창작 작업 과정
• 생성형 인공지능으로 더 좋은 결과물을 만드는 방법을 알려주세요.
역시 많은 쓰는 사람이 더 잘해요. 저는 인공지능과 대화하면서 얘기를 다 해요. "나는 20년 차 게임 개발 기획자야. 2D 횡스크롤 게임을 만들고 싶은데, 세계관과 줄거리를 어떤 걸 하면 좋을까?" 인공지능이 답변하면 그중에서 선택하고, "그럼, 네가 생각하는 전체적인 느낌과 감정선들을 정리해 줘." 이런 식으로 맥락을 쭉 이어가면서 이야기해요. 묻고 답변하면 그걸 복사 붙여넣기 해서 다시 물어보는 방법으로 일종의 기획서를 작성하는 거죠.
그걸 기반으로 콘셉트 아트를 만들고, 캐릭터 시트를 만들어달라고 해요. 이렇게 하면 대규모 언어 모델(LLM)의 특성상 맥락을 계속 연결하기 때문에 이야기하는 내용을 벗어나지 않아요. 같은 방법으로 배경 음악을 생성하거나 설명을 위한 내레이션 내용 등의 프롬프트를 얻으면 모든 맥락을 유지하면서 원하는 결과물을 얻을 수 있습니다.
• 지금은 아날로그 창작 경험을 가진 사람이 인공지능을 사용하지만, 나중에는 처음부터 인공지능을 사용한 사람들이 창작할 텐데요. 그러면 창작물이 질적인 면에서 차이가 있을까요?
그냥 보편화되겠죠. 그렇다고 사람이 인공지능을 통해 만난 창작물에 갇히지는 않을 것 같아요. 그중에서 정말 뛰어나고, 기발한 생각을 가진 0.01%의 한 명이 또 대단한 것들을 만들 거라고 생각합니다.
AI는 시간을 절약하며 고품질로 수익을 창출하는 창작 작업의 기반
• 인공지능을 이용하면 순수한 창작 작업이라기보다는 어떻게 보면 타협하고 의존하며, 창의력을 잃어버릴 수도 있다는 의견에 대해서는 어떻게 생각하시나요?
솔직히 정말 잘하니까 완전히 의존하고 있어요. 이미지도 그렇지만, 특히, 음악 같은 경우는 인공지능이 정말 잘해요. 그래서 학생들이 인공지능을 잘 다루는 사람이 됐으면 좋겠어요. 비교하는 게 실례이긴 하지만, 제임스 클라인(James Clyne)이나 다니엘 시몬(Daniel Simon) 같은 콘셉트 아트 대가의 작품은 이미지 한 장에 수천만 원씩 하거든요. 그런 천재의 작품이 아니라도 창작 분야에서 인공지능이 시간을 절약하면서 아주 좋은 결과물을 만들어줍니다.
엊그제 수업 시간에는 학생들과 어떤 게임을 만들지 세계관과 이야기를 기획하는데, 캐릭터 개발과 화면 디자인까지 2시간 만에 다 만들었어요. 그리고 시험 삼아 클로드라는 인공지능으로 단 3분 만에 테트리스 게임을 만들었어요. 창작자한테 시간이 곧 돈인데, 좋은 아이디어만 있다면 돈을 벌면서 창작을 계속해 나갈 수 있다는 건 의미가 있죠.
Claude https://claude.ai
• 인공지능 덕분에 다양성이 촉진될까요? 또, 창작자는 개성을 유지할 수 있을까요?
어마어마하게 데이터를 많이 주면 인공지능이 정리도 잘해주고, 좋은 결과물을 만들어주는데, 통찰력 있는 결과물은 나오지는 않아서 요새는 설명하고 예측하는 추론 모델에 대한 얘기도 많이 나오는 것 같더라고요.
2024년 03월 13일 설명 가능한 인공지능(XAI: eXplainable AI)을 구현한 로봇 https://trenddb.com/foresight/1539927
• 창작에서는 작가의 진정성이 중요한데, 시청자가 인공지능으로 작업하면 성의가 없다든가 그렇게 느끼지는 않을까요?
창작자가 사람이든 인공지능이든 별 의미는 없다고 생각해요. 만약 유튜브에 기가 막힌 찬송가를 만들어서 올렸는데, 사람들이 그걸 듣고 은혜를 받았다면 상관없다고 봐요. 또 요즘에는 인공지능으로 작업했다는 걸 숨기지도 않고, 사람들도 다 알거든요. 그 대신에 더욱 완성도를 높여서 잘 만들었으면 좋겠습니다.
자신 만의 전문성과 함께 빛을 발하는 인공지능 협업
• 인공지능 시대에 창작자가 차별화하고, 경쟁력을 가지려면 어떻게 해야 할까요?
AI 시대의 경쟁력은 프로그래밍 기술 자체보다는 AI 도구를 효과적으로 활용하는 능력에서 나올 것 같습니다. 실제로 인공지능이 기획 업무를 수행할 수 있을 정도로 발전했기 때문에 창작자든 업무 담당자든, 각자의 특정 분야에서 전문성을 쌓는 게 중요해요. 탄탄한 전문 지식을 바탕으로 AI의 도움을 받으면 아주 효과적이죠.
현재 업계에서 기존 전문가가 AI를 활용할 때 뛰어난 성과를 내는 이유도 바로 여기에 있어요. 해당 분야를 깊이 이해하니까 AI를 전략적으로 활용할 수 있거든요. 다만 이러한 변화로 인해 실리콘밸리에서는 약 40%의 프로그래머가 일자리를 잃었고, 신규 채용도 크게 줄어든 건 이제 막 시작하는 학생들을 생각할 때 안타까운 점이죠. 또, 얼마 전에 중고등학교 선생님과 얘기를 나눴는데, 선생님이 인공지능에 관심이 없으면 학생들이 잘 몰라요. 그래서 학교마다 차이가 커요.
2023년 2월 10일 인공지능이 설명하는 인공지능 시대의 창의력 https://trenddb.com/case/1472140