Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

"Generative Inbetweening: Keyframe Interpolation을 위한 이미지-비디오 모델의 적응"이라는 논문은 두 개의 키프레임 사이의 일관된 움직임을 생성하여 비디오 시퀀스를 생성하는 방법을 제안하고 있습니다.

1. 연구 배경

Keyframe interpolation은 비디오 생성에서 중요한 작업으로, 두 개의 키프레임 사이에서 중간 프레임을 합성하여 일관된 움직임을 시뮬레이션하는 것을 목표로 합니다. 기존의 optical flow 추정에 기반한 전통적인 방법은 프레임 간 간격이 크거나 큰 움직임이 있을 때 실패하는 경우가 많습니다. 최근 확산 모델(diffusion models)이 고품질 비디오 생성에 두각을 나타내고 있지만, 기존 모델은 키프레임 보간 작업을 효율적으로 처리하지 못하는 경우가 많습니다.

2. 제안된 방법

저자들은 새로운 모델을 훈련시키기보다는, 사전 훈련된 대규모 이미지-비디오 확산 모델을 키프레임 보간에 적응시키는 경량의 방법을 제안합니다. 주요 아이디어는:

1. 첫 번째 프레임으로부터 정방향 움직임을 생성합니다.
2. 마지막 프레임으로부터 역방향 움직임을 생성합니다.
3. 이 두 가지 예측을 결합하여 두 키프레임 사이의 일관된 움직임을 생성합니다.

3. 핵심 기술

• 시간적 셀프 어텐션 맵 회전: 모델은 훈련된 이미지-비디오 모델의 시간적 셀프 어텐션 계층을 사용하여 프레임 간의 정방향 움직임을 학습합니다. 이 어텐션 맵을 180도 회전함으로써, 모델이 마지막 프레임으로부터 역방향 움직임을 생성할 수 있도록 합니다. 이를 통해 정방향과 역방향 움직임이 일관성을 유지합니다.

• 역방향 움직임을 위한 미세 조정: 저자들은 시간적 셀프 어텐션 계층에서 value와 output 프로젝션 행렬을 미세 조정하여 모델이 역방향 움직임을 생성할 수 있도록 합니다. 이 미세 조정은 전체 모델을 재훈련하는 것보다 적은 데이터와 연산 자원을 필요로 합니다.

• 이중 방향 샘플링: 정방향 및 역방향 움직임 예측을 결합하여 이중 방향 샘플링을 수행합니다. 이를 통해 생성된 비디오가 처음부터 끝까지 일관된 움직임을 나타내도록 합니다.

4. 구현

저자들은 이 연구의 기반으로 Stable Video Diffusion (SVD) 모델을 사용했습니다. SVD는 사전 훈련된 오토인코더의 잠재 공간에서 동작하는 확산 모델로, 이 논문에서는 샘플링 과정에 시간적 어텐션 맵을 회전하는 기법을 추가하여 일관된 비디오 움직임을 생성합니다.

5. 실험 및 결과

• 평가 데이터셋: 저자들은 두 가지 고해상도 데이터셋(DAVIS 및 Pexels)을 사용해 제안된 방법을 평가했습니다. DAVIS는 동물 및 인간의 움직임을 포함한 복잡한 모션을 포함하며, Pexels는 차량, 동물, 타임랩스 등 동적인 장면을 포함한 비디오로 구성되었습니다.

• 비교 평가: FILM(플로우 기반 프레임 보간 방법) 및 TRF(SVD를 사용한 비디오 생성 방법)와 같은 최신 기법과 비교했을 때, 제안된 방법은 더 일관된 움직임과 높은 품질의 중간 프레임을 생성하여 우수한 성능을 보였습니다.

• 소거 실험: 미세 조정 없이 또는 회전된 어텐션 맵을 사용하지 않은 경우 생성된 비디오에서 아티팩트가 발생하고 움직임이 일관되지 않았다는 결과가 나타났습니다.

6. 제안된 방법의 장점

• 멀리 떨어진 키프레임 사이의 일관된 보간: 이 방법은 시간적으로 멀리 떨어진 키프레임 간의 보간 작업에서 뛰어난 성능을 발휘합니다.
• 효율적인 적응: 사전 훈련된 모델을 활용하고 일부 매개변수만 미세 조정함으로써 연산 자원을 절약하면서도 효율적인 성능을 보입니다.

7. 한계점

• 기저 모델에 대한 의존성: 이 방법의 성능은 Stable Video Diffusion 모델에 내재된 모션 프라이어의 품질에 제한됩니다. 예를 들어, 동물의 사지 움직임과 같은 복잡한 동작을 자연스럽게 생성하는 데에는 여전히 어려움이 있습니다.
• 희소한 대응성: 입력 프레임 간에 중복되는 객체가 적은 경우, 정방향과 역방향 움직임을 일관성 있게 유지하는 데 어려움을 겪습니다.

8. 결론

이 논문은 이미지-비디오 모델을 키프레임 보간에 적응시키는 혁신적인 방법을 소개하며, 멀리 떨어진 키프레임 사이에서도 일관된 움직임을 생성하는 데 있어 경쟁력 있는 성능을 발휘합니다. 이 방법은 계산 효율성을 유지하면서도 고품질의 비디오 생성을 가능하게 합니다.

참고 자료:

• 프로젝트 페이지 및 비디오 결과
• 관련 연구: FILM: Large Motion을 위한 프레임 보간

이 요약은 시간적 어텐션 맵 회전, 이중 방향 샘플링 기법, 경량 미세 조정 과정 등 이 방법의 중요한 측면을 강조하며, 키프레임 보간 작업에서 이 모델이 얼마나 효율적인지 보여줍니다.

---

"Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation" proposes a method for generating video sequences by interpolating coherent motion between two keyframes.

1. Research Background

Keyframe interpolation is a critical task in video generation, where intermediate frames are synthesized between two keyframes to simulate coherent motion. Traditional methods like flow-based approaches rely on optical flow estimation, which often fails when input frames are far apart or involve large motion. Diffusion-based models have recently gained prominence for generating high-quality videos, but existing models lack the capability to perform keyframe interpolation efficiently.

2. Proposed Method

The authors introduce a lightweight method that adapts a pretrained large-scale image-to-video diffusion model for keyframe interpolation, rather than building a new model from scratch. The central idea is to:

1. Generate forward motion from the first frame.
2. Generate backward motion from the last frame.
3. Fuse these predictions to create coherent motion between the two keyframes.

3. Key Techniques

• Temporal Self-Attention Map Rotation: The method uses the temporal self-attention layers in the pretrained model to learn the forward motion between frames. By rotating these maps by 180 degrees, the model generates backward motion from the second keyframe. This technique ensures that forward and backward motions are consistent.

• Fine-Tuning for Backward Motion: The authors fine-tune the value and output projection matrices within the temporal self-attention layers, which allows the model to generate plausible backward motion. This fine-tuning requires less data and computational resources than retraining a full model.

• Dual-Directional Sampling: The method merges forward and backward motion predictions through a dual-directional sampling process. This ensures that the generated video exhibits consistent motion throughout.

4. Implementation

The authors used the Stable Video Diffusion (SVD) model as the base for this work. SVD is a latent diffusion model that operates in the latent space of a pre-trained autoencoder. The paper introduces modifications to the sampling process by using rotated self-attention maps, which are key to generating coherent video motion.

5. Experiments and Results

• Evaluation Dataset: The authors evaluated their method using two high-resolution datasets:

  • DAVIS: A dataset with articulated human and animal motion.
  • Pexels: High-resolution videos featuring dynamic scenes such as vehicles, animals, and time-lapse videos.

• Baseline Comparisons: The method was compared with state-of-the-art techniques like FILM (a flow-based frame interpolation method) and TRF (another SVD-based method for video generation). The proposed approach outperformed both, producing more coherent motion and higher-quality intermediate frames, especially for temporally distant frames.

• Ablation Study: The paper also conducted ablation studies to justify design choices. When fine-tuning was skipped or the rotated attention maps were not used, the generated videos suffered from artifacts and inconsistent motion.

6. Strengths of the Proposed Method

• Coherent Interpolation of Distant Keyframes: The method excels in scenarios where keyframes are temporally distant, a challenge for existing interpolation methods.
• Efficient Adaptation: By leveraging pre-trained models and fine-tuning only a small subset of parameters, the approach is computationally efficient.

7. Limitations

• Dependence on the Base Model: The method’s performance is limited by the quality of the underlying motion priors in the Stable Video Diffusion model. For example, complex articulated movements, such as animal limb movements, remain challenging to generate naturally.
• Sparse Correspondences: In cases where input frames have few overlapping objects, the method struggles to maintain consistency.

8. Conclusion

The paper introduces an innovative adaptation of image-to-video models for keyframe interpolation, significantly improving the ability to generate coherent motion across distant keyframes. The method demonstrates competitive performance and offers a practical solution that reduces computational requirements while maintaining high video quality.

References:

• Project Page with Video Results
• Related Work: FILM: Frame Interpolation for Large Motion

This summary highlights the important aspects of the work, focusing on the innovative use of temporal attention maps, the dual-directional sampling technique, and the lightweight fine-tuning process that make this method efficient for keyframe interpolation.

---

출처: Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation