오디오 기반의 인물 이미지 애니메이션, 'Hallo' 프로젝트

Fudan University의 Generative Vision Lab에서 개발한 'Hallo'는 오디오 입력을 통해 인물 이미지를 애니메이션으로 변환하는 기술입니다. 

프로젝트는 계층적 오디오 기반 비주얼 합성을 사용하여 사실적인 애니메이션을 생성합니다. 설치 및 사용 지침, 선행 모델 다운로드, 데이터 준비 등 다양한 자료를 제공합니다.

이 프로젝트는 연구 및 학술 목적으로 사용할 수 있으며, GitHub 및 Huggingface에서 다양한 예제와 자료를 확인할 수 있습니다.

• 주요 특징
  • 오디오 기반 이미지 애니메이션
  • Ubuntu 및 CUDA 12.1 지원
  • 사전 훈련된 모델 다운로드 및 사용 가능
  • 소스 이미지와 오디오 준비 지침 제공