텍스트를 활용한 도메인 비특이적인 이미지 분류 장치 및 방법
본 발명의 일 실시 예에 따른 텍스트를 활용한 도메인 비특이적인 이미지 분류 장치는 학습용 이미지를 입력 받아 이로부터 시각적 특징자(Visual Feature)를 생성하고, 상기 생성한 시각적 특징자를 이용하여 상기 학습용 이미지의 분류 결과를 생성하여 출력하며, 제1 손실 함수(Ltask)를 이용하여 학습을 진행하는 이미지 분류부, 학습용 텍스트를 입력 받아 이로부터 텍스트적 특징자(Textual Feature)를 생성하고, 상기 시각적 특징자와 텍스트적 특징자를 맵핑시키며, 제2 손실 함수(Lalign)를 이용하여 학습을 진행하는 이미지-텍스트 결합부 및 상기 시각적 특징자 및 상기 생성한 학습용 이미지의 분류 결과를 입력 받아 이에 근거하여 상기 학습용 이미지를 설명하는 텍스트(Text)를 생성하며, 제3 손실 함수(Lexpl)를 이용하여 학습을 진행하는 텍스트 설명 생성부를 포함하며, 상기 학습용 이미지는, 하나 이상의 클래스(Class)에 대하여 하나 이상의 도메인으로 표현한 하나 이상의 이미지이며, 상기 학습용 텍스트는, 상기 하나 이상의 클래스에 대하여 하나 이상의 텍스트로 설명한 하나 이상의 텍스트이고, 상기 학습용 이미지 및 학습용 텍스트는 하나의 학습용 데이터셋에 포함된다.
상세 설명
기술분야
본 발명은 텍스트를 활용한 도메인 비특이적인 이미지 분류 장치 및 이를 위한 방법에 관한 것이다. 보다 자세하게는 텍스트 정보를 활용하여 이미지의 도메인에 무관하게 이미지를 분류할 수 있는 장치 및 방법에 관한 것이다.
해결하려는 과제
비예약식 다중 접속 상황에서는 활성 사용자들이 보낼 데이터가 있을 때, 자원에 대한 예약(grant)를 받지 않고 바로 데이터와 프리엠블(파일럿)을 여러 사용자가 경쟁하는 자원에 전송한다. 본 발명은 활성 사용자의 데이터를 비직교 확산 수열을 통해 확산하는 비예약식 비직교 다중접속 상황을 가정했을 때 확산 데이터 수신하기 위한 절차인 다중 사용자 검출기(multi-user detection; MUD)를 제안하고자 한다. 비예약식 비직교 다중접속 상황에서는 활성 사용자가 임의로 고른 비직교 확산 수열을 사용하므로, 수신 데이터에 활용된 비직교 확산 수열의 조합은 활성 사용자 조합이 변할 때마다 바뀌게 된다. 딥러닝을 사용하지 않은 전통적인 MUD는 각 비직교 확산 수열 조합에 따라 서로 다른 MUD를 설계 및 구현해야 하므로 수신 복잡도 및 수신기 설계 비용이 높은 문제점이 있다. 이를 해결하기 위해, 본 발명은 수신 데이터의 코드북(확산 수열) 조합이 변하는 비예약식 비직교 다중 접속 상황에서 여러 코드북 조합에 대해 동일한 다중 사용자 검출 절차를 통해 데이터를 수신할 수 있도록 하는 딥러닝 기반 다중 사용자 검출기 설계 방식을 제시한다.
발명의 효과
본 발명의 다양한 실시 예들에 따르면, 하나의 딥러닝 기반 다중 사용자 검출기 네트워크가 여러 개 조합의 코드북(확산 수열)을 사용한 수신 데이터에 대해 다중 사용자 검출을 수행하도록 함으로써, 수신 복잡도와 비용을낮출 수 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 다중 사용자 검출기 설계(학습)를 위한 보조 정보로서 채널 벡터를 그대로 다중 사용자 검출기에 입력하는 것이 아닌, 입력 전처리 과정을 통해 코드북과 채널을 동시에 고려한 벡터를 보조 정보(side-information)로 고려하여 다중 사용자 검출기를 효과적으로 학습하게 함으로써 학습 효율과 최종 비트 오류율 성능을 높일 수 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 개의 서로 다른 사용자 특정 레이어(layer)를 통해 최대 개의 코드북 충돌을 구분하기 위한 일반화된 딥러닝 기반 멀티 태스크 러닝 MUD 구조를 제시하고, 딥러닝 기반 MUD가 코드북 충돌까지 구분할 수 있도록 함으로써 동일한 코드북이 개만큼 충돌이 발생하는 경우라고 하더라도 채널을 통해 수신기가 각 사용자의 데이터를 검출할 수 있도록 한다.
