텍스트만으로 영상 제작 - OpenAI Sora의 첫 뮤직비디오 공개!!

오늘은 최근 화제가 되고 있는 OpenAI의 새로운 AI 모델 Sora에 대해 이야기해보려고 합니다. 

올해 초 OpenAI는 최대 60초 길이의 사실적이고 고화질의 부드러운 동영상을 생성할 수 있는 Sora라는 AI 모델을 공개했는데요. 

이는 IT는 물론 미디어, 예술계에 큰 파장을 일으켰습니다. 

특히 기존 영상 제작자들과 아티스트들의 관심이 집중되었죠.

OpenAI는 Sora를 아직 대중에게 공개하지는 않았습니다. 우선 모델의 잠재적 위험과 피해를 면밀히 검토하고, 시각 예술가, 디자이너, 영화 제작자 등 제한된 그룹에게만 사용 기회를 제공한다는 입장이에요. 

그럼에도 불구하고 초기 사용자들 중 일부는 Sora로 제작한 프로젝트를 만들어 공개하기 시작했습니다.

그 중 하나가 작가이자 감독인 Paul Trillo가 제작한 "OpenAI의 Sora로 만든 최초의 공식 뮤직비디오"입니다. 

이 영상은 인디 뮤지션 Washed Out의 신곡 "The Hardest Part"를 위해 만들어졌는데요. 

4분가량 되는 여러 장면들이 빠른 줌 샷으로 연결되어 마치 연속적으로 줌인하는 듯한 효과를 주고 있어요. 

Trillo에 따르면 이 영상은 Sora가 생성한 55개의 개별 클립을 포함해 총 700개의 클립으로 구성되었다고 합니다. 그는 이 클립들을 Adobe Premiere로 불러와 편집했다고 하네요. 

한편 Adobe는 최근 자사의 Premiere Pro 소프트웨어에 Sora 등 타사 AI 영상 생성 모델을 통합할 계획이라고 밝혔습니다. 

하지만 구체적인 일정은 아직 정해지지 않았어요. 

당분간은 Sora가 아직 비공개인 만큼, Runway나 Pika 같은 타사 소프트웨어로 AI 영상 클립을 만든 뒤 Premiere로 가져와야 할 것 같네요. 

Washed Out은 한 인터뷰에서 "새로운 기술을 활용해 제가 만들어낼 수 있는 것들을 확장하고 싶다"며 "그것이 선구적인 일이라면 저도 동참하고 싶다"고 말했습니다. 그는 Sora를 활용하기 위해 각 장면의 구도, 캐릭터 움직임 등을 매우 구체적으로 묘사하는 프롬프트를 작성해야 했다고 했습니다.

Trillo의 이번 작업은 Sora의 텍스트 기반 영상 생성 기능만으로도 멋진 결과물을 만들어낼 수 있음을 잘 보여주는 사례라고 할 수 있겠네요. 최근 AI 영상 제작 분야에서는 기존 이미지에 움직임을 더하는 방식이 인기를 끌고 있는데요. 이와 달리 Trillo는 오로지 텍스트 프롬프트만으로 모든 장면을 구현해냈습니다.

물론 AI 창작물을 둘러싼 논란도 계속되고 있습니다. 특히 사전 동의나 보상 없이 학습 데이터로 활용되는 인간 아티스트들의 저작권 문제가 지적되고 있죠. OpenAI 역시 이런 비판에서 자유롭지 않은데요. 

하지만 분명한 건 음악, 영화 등 여러 분야의 크리에이터들이 AI를 새로운 표현 수단으로 활용하려는 시도를 계속하고 있다는 사실입니다. Sora로 제작된 이번 뮤직비디오도 이런 흐름 속에 만들어 진 것 같습니다.