텍스트를 활용한 도메인 비특이적인 이미지 분류 장치 및 방법
본 발명의 일 실시 예에 따른 텍스트를 활용한 도메인 비특이적인 이미지 분류 장치는 학습용 이미지를 입력 받아 이로부터 시각적 특징자(Visual Feature)를 생성하고, 상기 생성한 시각적 특징자를 이용하여 상기 학습용 이미지의 분류 결과를 생성하여 출력하며, 제1 손실 함수(Ltask)를 이용하여 학습을 진행하는 이미지 분류부, 학습용 텍스트를 입력 받아 이로부터 텍스트적 특징자(Textual Feature)를 생성하고, 상기 시각적 특징자와 텍스트적 특징자를 맵핑시키며, 제2 손실 함수(Lalign)를 이용하여 학습을 진행하는 이미지-텍스트 결합부 및 상기 시각적 특징자 및 상기 생성한 학습용 이미지의 분류 결과를 입력 받아 이에 근거하여 상기 학습용 이미지를 설명하는 텍스트(Text)를 생성하며, 제3 손실 함수(Lexpl)를 이용하여 학습을 진행하는 텍스트 설명 생성부를 포함하며, 상기 학습용 이미지는, 하나 이상의 클래스(Class)에 대하여 하나 이상의 도메인으로 표현한 하나 이상의 이미지이며, 상기 학습용 텍스트는, 상기 하나 이상의 클래스에 대하여 하나 이상의 텍스트로 설명한 하나 이상의 텍스트이고, 상기 학습용 이미지 및 학습용 텍스트는 하나의 학습용 데이터셋에 포함된다.
상세 설명
기술분야
본 발명은 텍스트를 활용한 도메인 비특이적인 이미지 분류 장치 및 이를 위한 방법에 관한 것이다. 보다 자세하게는 텍스트 정보를 활용하여 이미지의 도메인에 무관하게 이미지를 분류할 수 있는 장치 및 방법에 관한 것이다.
해결하려는 과제
본 발명이 해결하고자 하는 기술적 과제는 일부 도메인의 이미지만을 학습한 경우라 할지라도 이와 상이한 도메인의 이미지까지 높은 정확도로 효과적으로 분류할 수 있는 텍스트를 활용한 도메인 비특이적인 이미지 분류 장치 및 방법를 제공하는 것이다.
발명의 효과
상기와 같은 본 발명에 따르면 학습 과정에서 이미지뿐만 아니라 텍스트 정보를 함께 사용하여 학습을 진행하는바, 인간의 추론 과정을 적용하여 일부 도메인의 이미지만을 학습한 경우라 할지라도 이와 상이한 도메인의 이미지까지 높은 정확도로 효과적으로 분류할 수 있다는 효과가 있다.
