확산 모델과 암시적 신경망 기반의 임의의 해상도와 스케일의 이미지를 생성하는 방법 및 이를 위한 장치
본 발명의 일 실시 예에 따른 확산 모델과 암시적 신경망 기반의 임의의 해상도와 스케일의 이미지를 생성하는 방법은 (a) 학습 데이터를 입력하여 이미지 생성 모델을 학습시키는 제1 단계 및 (b) 입력 데이터를 상기 학습시킨 이미지 생성 모델에 입력하여 상기 이미지 생성 모델이 생성한 임의의 해상도와 스케일의 이미지를 출력하는 제2 단계를 포함하며, 상기 제1 단계는, 상기 이미지 생성 모델이 포함하는 컨볼루션 신경망(CNN, Convolutional Neural Network) 기반의 인코더부, 컨볼루션 신경망 기반의 잠재 변수 생성부 및 암시적 신경망(INN, Implicit Neural Network) 기반의 디코더부를 학습시키는 제1-1 단계 및 상기 이미지 생성 모델이 포함하는 확산 모델부를 학습시키는 제1-2 단계를 포함한다.
상세 설명
기술분야
본 발명은 확산 모델과 암시적 신경망 기반의 임의의 해상도와 스케일의 이미지를 생성하는 방법 및 이를 위한 장치에 관한 것이다. 보다 자세하게는 인공지능 기반의 이미지 생성 모델이 학습 데이터에 대한 분포를 학습한 후, 해당 분포로부터 학습 데이터가 아닌 임의의 해상도와 스케일의 새로운 이미지의 다양한 생성이 가능한 방법 및 이를 위한 장치에 관한 것이다.
해결하려는 과제
본 발명이 해결하고자 하는 기술적 과제는 인공지능 기반의 생성 모델이 학습한 데이터의 해상도뿐만 아니라 임의의 해상도의 이미지까지 높은 품질로 생성할 수 있는 확산 모델과 암시적 신경망 기반의 임의의 해상도와 스케일의 이미지를 생성하는 방법 및 이를 위한 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 인공지능 기반의 생성 모델의 학습 안정도를 높임으로써 생성하는 이미지의 다양성까지 확보할 수 있는 확산 모델과 암시적 신경망 기반의 임의의 해상도와 스케일의 이미지를 생성하는 방법 및 이를 위한 장치를 제공하는 것이다.
발명의 효과
상기와 같은 본 발명에 따르면, 인공지능 기반의 이미지 생성 모델이 암시적 신경망 기반의 디코더를 포함하는바, 쿼리하는 좌표의 개수와 위치를 조절함으로써 학습한 데이터의 해상도뿐만 아니라 임의의 해상도의 이미지까지 높은 품질로 생성할 수 있다는 효과가 있다.
또한, 인공지능 기반의 이미지 생성 모델이 확산 모델 기반의 확산 모델부를 포함하는바, 적대적 생성 신경망 대비 안정적인 학습이 가능하며 생성하는 이미지의 다양성까지 확보할 수 있다는 효과가 있다.
또한, 인공지능 기반의 이미지 생성 모델이 계층적 임베딩을 활용하여 이미지의 저주파수 특징과 고주파수 특징을 분리하는 잠재 변수 생성부를 포함하는바, 고해상도 이미지에서 나타나는 고주파수 특징을 보다 뚜렷하게 생성할 수 있다는 효과가 있다.