Drag Your GAN - Interactive Point-based Manipulation on the Generative Image Manifold

SIGGRAPH 2023 논문 중에 점을 움직여 포즈나 형상 변형 및 이미지 조정을 할 수 있는 AI 기술에 대한 내용으로 발표 된 'Drag Your GAN - Interactive Point-based Manipulation on the Generative Image Manifold' 입니다..

 

이미지를 변형의 한계치를 넘어섰다는 점과 변형을 하면서 배경이 자동으로 수정 되는 것이 벙말 놀랍고 바로 사용가능 할 것 같네요.

내용을 보면

Synthesizing visual content that meets users' needs often requires flexible and precise controllability of the pose, shape, expression, and layout of the generated objects. Existing approaches gain controllability of generative adversarial networks (GANs) via manually annotated training data or a prior 3D model, which often lack flexibility, precision, and generality. In this work, we study a powerful yet much less explored way of controlling GANs, that is, to "drag" any points of the image to precisely reach target points in a user-interactive manner, as shown in Fig.1.

사용자의 요구를 충족하는 시각적 콘텐츠를 합성하려면 생성된 오브젝트의 포즈, 모양, 표정, 레이아웃을 유연하고 정밀하게 제어할 수 있어야 합니다. 기존 접근 방식은 수동으로 주석이 달린 훈련 데이터 또는 이전 3D 모델을 통해 생성적 적대 신경망(GAN)을 제어할 수 있지만 유연성, 정밀성, 일반성이 부족한 경우가 많습니다. 이 연구에서는 그림 1과 같이 이미지의 임의의 지점을 '드래그'하여 사용자 인터랙티브 방식으로 목표 지점에 정확하게 도달하도록 하는, 강력하지만 아직 많이 연구되지 않은 GAN 제어 방법을 연구합니다. 

 

 

작년 SIGGRAPH 2023에 정말 좋은 내용의 기술 논문이 나왔는데 못 가본 것이 아쉽네요.

올해는 가족과 함께 휴가차 가봐야겠네요..^^

 

자세한 내용:

https://vcai.mpi-inf.mpg.de/projects/DragGAN/

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold