2.1. Diffusion models#

• 디퓨전 모델은 최근 text-to-image, 비디오 생성, 3D 생성 태스크에서 인상적인 결과를 보여주고 있다.

• 하지만 이러한 모델을 처음부터 훈련하는 것은 비용이 많이 들고 많은 양의 데이터가 필요하다.

• 스테이블 디퓨전과 같은 latent diffusion 모델은 디퓨전과 디노이징 과정을 latent space에서 수행하기 때문에 계산 요구 사항과 훈련 시간을 대폭 줄일 수 있다.

• 스테이블 디퓨전과 그 사전 훈련된 체크포인트는 출시 이후 다양한 이미지 생성 작업에 사용되었다.

• 본 논문에서도 사전 훈련된 스테이블 디퓨전 모델을 활용하고, subject에 특화된 파인튜닝을 한다.

2.2. Still Image Animation#

• 하나 이상의 입력 이미지로부터 동영상을 생성하는 태스크

• 기존에 디퓨전 기반이 아닌 접근 방식들은 배경 예측, 모션 표현, occlusion map이나 dense map 등 여러 개의 개별 네트워크로 구성되는 경우가 많았다.

  • 각 단계마다 별도의 훈련이 필요하고 ground-truth 모션이나 depth등의 ground-truth 데이터를 사용할 수 없거나 불완전할 가능성이 있다.

  • 모션이 크고 복잡할 경우에 groud-truth에 대한 예측은 도출하기 더 어렵고 오류가 발생하기 쉽다.

• 최근 여러 방법들은 엔드 투 엔드 싱글 네트워크 접근 방식을 탐구하고 있다. (예: optical flow and warping, cross-attention 모듈, NeRF 표현을 사용한 애니메이션이 가능한 3D 휴먼 생성 등)

2.3. Fashion Image Synthesis#

• 기존 pose-guided 패션 이미지 합성 방법

  • 일반적으로 GAN을 기반으로 했고, optical flow에 의존해 이미지 특징을 포즈에 맞추는 방법을 사용했다. → 큰 포즈 변화, 가려진 영역 합성, 의상 스타일 보존에 어려움을 겪는 경우가 많다.

  • 최근엔 어텐션 기반 메커니즘을 사용하여, 셀프/크로스 어텐션을 사용하여 이미지 특징을 목표 프레임에 맞추려고 하였다.

  • 디퓨전 기반

    • DiffFashion: 레퍼런스 이미지의 스타일을 트랜스퍼하여 의류 아이템을 편집하는 것을 목표로 한다.

    • PIDM: 포즈를 조건으로 넣어 사람 이미지를 생성한다 → 시간적 일관성을 위한 최적화는 하지 않는다.

2.4. Diffusion Models for Video Synthesis#

• 많은 text-to-video 디퓨전 모델은 text-to-image 디퓨전 모델을 활용하여 적용한다.

• 결과를 기대할만 하지만, 여전히 텍스트-이미지 모델과 같은 성능은 나오지 않고 있다.

• 프레임 간의 시간적 일관성을 유지하는 것과 사실적인 모션을 생성하는 것이 어렵다.

• 어떤 디퓨전 기반 방법들은 스크래치부터 학습하기 때문에 값비싼 컴퓨팅 리소스, 방대학 학습 데이터셋, 오랜 학습 시간이 필요하다.

• Turn-A-Video는 텍스트와 이미지가 조건으로 들어왔을 때 비디오 생성을 위해 사전 학습된 텍스트-이미지 디퓨전 모델을 파인튜닝한다. → 이전 방법들과 마찬가지로 텍스처 깜빡거림(textural flickering), 구조적인 불일치가 나타난다.

• 본 논문에서는 위의 문제를 해결하여 사람과 섬유의 움직임의 싱크를 맞추는 것을 목표로 한다.

2.5. Conditioning Mechanisms for Diffusion Models#

• 텍스트를 조건으로 하는 이미지 생성 디퓨전 모델을 널리 사용되어 왔다.

• 텍스트 컨디셔닝은 높은 수준의 디테일을 조절하는 데는 효과적이지만, 사람과 의상의 정확한 identity나 포즈에 대한 풍부하고 상세한 정보를 제공하는 것은 어렵다.

• 여러 연구에서 사전 학습된 text-to-image 스테이블 디퓨전 모델을 위한 이미지 컨디셔닝 문제를 다루고 있다.

  • 이러한 모델에는 종종 어떤 종류의 텍스트 임베딩이 포함된다. (ex: DreamBooth: 피사체별 파인 튜닝을 수행하기 위해 고유한 텍스트 토큰을 학습)

  • 기존 이미지와 동영상의 모양을 편집하기 위해 텍스트를 통합하기도 한다.

  • PIDM은 별도의 텍스처 인코더를 사용하여 이미지 텍스처를 인코딩하고 입력된 노이즈 이미지와 대상 포즈를 연결한다.

• DreamPose는 영상 속 피사체의 외형뿐만 아니라 구조와 움직임까지 제어할 수 있다.

• PIDM과 마찬가지로 이미지 임베딩을 UNet의 크로스 어텐션 레이어에 직접 통합하지만, 이미지 임베딩에 대해 사전 학습된 두 개의 인코더(CLIP, VAE)를 혼합하여 사용한다. → 입력 노이즈에 연결된(concatenated) 멀티 포즈 입력 표현(multi-pose input representation)을 이용해 부드럽고 시간적으로 일관된 모션을 구현할 수 있다.

4.1. Overview#

• 입출력

  • 입력: 입력 이미지 $x_0$, 포즈 $\{p_1,\dots ,p_n\}$

  • 출력: 비디오 $\{x_1^{\prime },\dots ,x_N^{\prime }\}$ ($x_i^{\prime }$: 입력 포즈 $p_i$에 해당하는 i 번째 예측된 프레임)

• 입력 이미지와 포즈 시퀀스를 조건으로 하는 사전 훈련된 latent diffusion model을 사용한다.

• 추론 시에는 일반적인 디퓨전 샘플링 절차를 통해 각 프레임을 독립적으로 생성한다.

  • 균일하게 분포된 가우시안 노이즈로 시작하여 두 조건 신호로 디퓨전 모델을 반복적으로 쿼리하여 noisy latent의 노이즈를 제거한다.

• 마지막으로 예측된 디노이즈된 latent $z_i^{\prime }$를 디코딩하여 예측된 비디오 프레임 $x_i^{\prime }=\mathcal{D}(z_i^{\prime })$를 만든다.

4.2. Architecture#

• 이미지 애니메이션을 위해 원래의 text-to-image 스테이블 디퓨전 모델을 수정하고 파인튜닝한다. (조건: 이미지, 포즈)

• 이미지 애니메이션의 목표

  1. 제공된 입력 이미지에 대한 충실도

  2. 시각적 품질

  3. 생성된 프레임의 전반적인 시간적인 안정성

• 이러한 목표를 달성하기 위해 아키텍처를 아래와 같이 구성하였다.

  

4.2.1 Split CLIP-VAE Encoder#

• 해당 모듈-컨디셔닝 어댑터(custom conditioning adapter)의 필요성

  • 이미지를 조건으로 넣기 위한 이전 연구 (ex: InstructPix2Pix)는 주로 조건으로 들어오는 이미지 신호를 디노이징 U-Net에 대한 입력 노이즈와 concat한다.

  • 이는 원하는 출력 이미지와 공간적으로(spatially) 정렬된 조건 신호에 대한 조건화에 효과적이지만, DreamPose의 경우에는 네트워크가 입력 이미지와 공간적으로 정렬되지 않은 이미지를 생성하는 것을 목표로 한다.

  • 따라서 해당 태스크에는 다른 방법이 필요하고, 이를 위해 맞춤형 컨디셔닝 어댑터를 구현하였다.

  • 맞춤형 컨디셔닝 어댑터는 CLIP 텍스트 인코더를 사용하여 이미지 조건화를 대체하는 맞춤형 컨디셔닝 어댑터(custom conditioning adapter)를 구현하였다.

  • 이 어댑터는 사전 학습된 CLIP 이미지 및 VAE 인코더에서 인코딩된 정보를 결합한다.

• 디퓨전 기반 파인튜닝

  • 목표: 입력 신호를 원래 네트워크 학습에 사용된 신호와 최대한 유사하게 만들어 학습 기울기를 가능한 한 의미 있게 만드는 것 → 학습된 prior 값의 손실을 방지하는 데 도움이 된다.

  • 이러한 이유로 대부분의 디퓨전 기반 파인튜닝 체계는 모든 원래 컨디셔닝 신호를 유지하고 새로운 컨디셔닝 신호와 상호 작용하는 네트워크 가중치를 0으로 초기화한다.

• VAE Encoder의 필요성

  • 스테이블 디퓨전이 텍스트 프롬프트의 CLIP 임베딩으로 컨디셔닝 되고 CLIP이 텍스트와 이미지를 공유 임베딩 스페이스(shared embedding space)로 인코딩한다는 점을 감안할 때 CLIP 컨디셔닝을 조건으로 주어진 이미지에서 파생된 임베딩으로 간단히 대체하는 것이 자연스러워 보일 수 있다.

  • 하지만 실제로는 CLIP 이미지 임베딩만으로는 조건으로 주어진 이미지에서 세밀한 디테일을 캡처하기에 충분하지 않다.

  • 따라서 스테이블 디퓨전의 VAE에서 인코딩된 latent 임베딩을 추가로 입력한다.

  • 이를 통해 디퓨전의 출력 도메인과 일치하는 추가적인 장점을 가지게 된다.

• 어댑터 $\mathcal{A}$

  • 스테이블 디퓨전 아키텍처는 기본적으로 컨디셔닝 신호로 VAE latent를 지원하지 않기 때문에 어댑터 모듈 $\mathcal{A}$를 추가한다.

  • 해당 어댑터는 CLIP과 VAE 임베딩을 결합하여 네트워크의 일반적인 cross-attention 연산에 사용되는 하나의 임베딩을 생성한다.

  • 이 어댑터는 두 신호를 함께 혼합하고 디노이징 U-Net의 cross-attention 모듈에서 예상하는 일반적인 모양으로 출력을 변환한다.

• 디퓨전 기반 파인튜닝에서 언급했 듯이 학습에서 네트워크의 충격을 완화하기 위해 처음에는 VAE 임베딩에 해당하는 가중치는 0으로 설정되어 네트워크가 CLIP 임베딩으로만 학습을 시작한다.

• 최종 이미지 컨디셔닝 신호 $c_I$를 다음과 같이 정의한다.

$$\begin{array}{r}{c}_I=\mathcal{A}(c_{\mathrm{CLIP}},c_{\mathrm{VAE}})\end{array}$$

4.2.2 Modified UNet#

• 이미지 컨디셔닝과 달리 포즈 컨디셔닝은 이미지와 정렬 된다.

• Noisy latent ${\tilde{z}}_i$를 타겟 포즈 표현 $c_p$와 concat한다.

• 실제 비디오에서 추정된 포즈의 노이즈를 고려하고 생성된 프레임에서의 시간적 일관성을 극대화하기 위해, $c_p$를 다섯 개의 연속된 포즈 프레임으로 구성하였다. 즉, $c_p=\{p_{i-2},p_{i-1},pi,p_{i+1},p_{i+2}\}$ → 개별 포즈로 네트워크를 학습하는 것보다 연속 포즈로 학습하면 전반적인 움직임의 부드러움과 시간적 일관성이 증가한다.

• 구조적으로 0으로 초기화된 10개의 추가 입력 채널을 받아들이도록 UNet 입력 레이어를 수정하고 noisy latent에 해당하는 원래 채널은 사전 학습된 가중치에서 수정되지 않는다.

4.4. Pose and Image Classifier-Free Guidance#

• 추론시 단일 입력 이미지와 피사체별 모델(subject-specific model)을 사용하는 일련의 포즈에서 프레임별로 동영상을 생성한다.

• 이중(dual) classifier-free guidance를 사용하여 추론 시에 이미지 컨디셔닝 $c_I$와 포즈 컨디셔닝 $c_p$의 강도를 조절한다.

• 이중 classfier-free guidance는 식 (3)에서 다음과 같이 수정된다.

  $$\begin{array}{r}\begin{array}{rl}{ϵ}_{\theta }(z_t,c_I,c_p)& ={ϵ}_{\theta }(z_t,\mathrm{\varnothing },\mathrm{\varnothing })\\ & +s_I({ϵ}_{\theta }(z_t,c_I,\mathrm{\varnothing })-{ϵ}_{\theta }(z_t,\mathrm{\varnothing },\mathrm{\varnothing }))\\ & +s_p({ϵ}_{\theta }(z_t,{\mathcal{c}}_I,{\mathcal{c}}_p)-{ϵ}_{\theta }(z_t,{\mathcal{c}}_I,\mathrm{\varnothing }))\end{array}\end{array}$$

  • $s_I$, $s_p$: 가이던스 웨이트

  • $c_I$: 이미지 컨디셔닝

  • $c_p$: 포즈 컨디셔닝

  → 이미지 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산하고, 포즈 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산해서 이를 가이던스 웨이트를 통해 강도를 조정해서 반영

• $s_I$가 크면 입력 이미지에 높은 외관 충실도를 보장하고, $s_p$가 크면 입력 포즈에 대한 정렬을 보장한다.

• 이중 classifier-free guidance는 포즈 및 이미지 가이드를 강화하는 것 에외도, 피사체별 모델 파인튜닝 후 하나의 입력 포즈에 대한 오버피팅을 방지한다.

5.1. Implementation Details#

• 입력 이미지 resolution: 512x512

• GPU: NVIDIA A100 2개

• 첫 번째 훈련 단계

  • 전체 훈련 데이터셋 사용

  • 5 epoch

  • 5e-6 learning rate

  • 배치사이즈: 16 (4 gradient accumulation step)

  • Dropout: 포즈 입력 5%, 이미지 입력 5%

• 두 번째 훈련 단계

  • 특정 샘플 프레임 사용

  • 500 step

  • 1e-5 learning rate

  • Dropout 적용 X

• VAE 디코더 파인튜닝

  • 1500 step

  • 5e-5 learning rate

• 추론 시에는 PNDM 샘플러 사용 (100step)

5.2. Dataset#

• UBC Fashion 데이터셋 사용

• Split

  • Train: 339개의 영상

  • Test: 100개의 영상

• 각 비디오의 프레임 속도는 초당 30프레임이며 길이는 약 12초

• 학습 중에는 학습 비디오로부터 랜덤으로 프레임 쌍을 샘플링 하였다.

• DensePose를 이용해서 포즈를 계산하였다.

6.1. Comparisons#

• 공개적으로 사용 가능한 두 가지 최신 비디오 합성 방법인 MRAA(Motion Representations for Articulated Animation)과 Thin-Plate Spline Mothion Model(TPSMM)과 수치적 및 정성적인 비교를 하였다.

• 제공된 훈련 스크립트와 권장 에폭 수를 사용하여 두 가지 모델을 UBC 패션 데이터셋을 이용해서 스크래치부터 학습하였다.

• 평가를 위해서는 AVD 모드에서 제공된 테스트 스크립트를 사용하였다.

• PIDM과도 정성적인 비교를 하였다. PIDM의 경우 훈련 스크립트를 사용할 수 없어서 DeepFashion 데이터셋에 대해 학습된 체크포인트를 통해 비교하였다.

• 100개의 디노이징 스텝을 사용하여 PIDM과 DreamPose를 실행하였다.

6.1.1 Quantitative Analysis#

• 256 픽셀 해상도의 100개의 고유한 패션 동영상으로 구성된 UBC 패션 테스트 셋에 대해 모든 모델을 테스트 하였다.

• 각 동영상에 대해 입력 프레임에서 최소 50프레임 이상 떨어져 있는 50개의 프레임을 추출하여 테스트하였다.

• MRAA와 TPSMM은 모두 driving video에서 추출된 feautre에 의존하는 반면, DreamPose는 UV-포즈 시퀀스에만 의존한다는 점에 유의하라.

• 그럼에도 불구하고 DreamPose 모델은 네 가지 정량적 지표 모두에서 두 가지 방법보다 정량적으로 우수한 성능을 보였다.

6.2.2 Qualitative Analysis#

• MRAA와 TPSMM은 새로운 포즈를 취할 때 인물의 identity, 옷감 주름, 미세한 패턴이 손실되는 반면 DreamPose는 디테일을 정확하게 유지한다.

• 포즈를 크게 변경하는 동안 MRAA는 팔 다리가 분리 될 수 있다.

• PIDM과의 비교

  

  • DreamPose는 얼굴의 identity와 의상 패턴 모두 더 충실도 높은 결과를 생성한다.

  • PIDM은 사실적인 얼굴을 합성하지만, 원본 인물의 identity와 일치하지 않고, identity와 옷차림이 프레임마다 달랐다. → PIDM이 비디오 합성에서는 잘 동작하지 않는다.

6.2. Ablation Studies#

• 아래 네 가지 변형에 대해 성능을 비교한다.

  1. ${\text{Ours}}_{\text{CLIP}}$: 듀얼 CLIP-VAE 인코더 대신에 사전 학습된 CLIP 이미지 인코더를 사용 → CLIP-VAE 인코더 효과 테스트

  2. ${\text{Ours}}_{\text{NO-VAE-FT}}$: VAE 디코더를 파인튜닝하지 않은 버전 → 디코더 파인튜닝 효과 테스트

  3. ${\text{Ours}}_{\text{1-pose}}$: 5개의 연결된 연속 포즈 대신 하나의 대상 포즈만 노이즈에 연결한 버전 → 연결된 5개의 프레임 효과 테스트

  4. ${\text{Ours}}_{\text{Full}}$: 논문에서 제안한 모든 방법이 다 적용된 DreamPose

Quantitative Comparison

Qualitative Comparison

• 기존의 스테이블 디퓨전에서는 인물의 identity에 대한 디테일을 보존할 수 없었다.

• 텍스트 인코더를 CLIP 인코더로 교체한 결과 대부분의 이미지 디테일은 캡처할 수 있지만, 여전히 외형에 대한 정보 손실이 발생한다.

• VAE 디코더를 파인튜닝하면 디테일의 선명도가 크게 향상되고 입력 포즈에 대한 오버피팅이 발생하지 않는다.

• 한 가지 포즈만 입력하면 팔과 머리카락 주변에서의 피사체의 형태가 눈에 띄게 깜박이는 현상이 나타났다.

6.3. Multiple Input Images#

• DreamPose는 피사체에 대한 입력 이미지를 여러 장 넣어서 파인튜닝할 수 있다.

• 피사체의 입력 이미지를 추가하면 품질과 시점의 일관성이 향상된다.