읽기 전용 프롬프트 학습 방법 및 장치
본 발명의 일 실시 예에 따른 읽기 전용 프롬프트 최적화(read only prompt optimization, RPO) 모델에 기반한 읽기 전용 프롬프트 학습 방법은, 텍스트 데이터 및 이미지 데이터를 전처리하는 단계, 텍스트 RPO 토큰 및 이미지 RPO 토큰을 획득하는 단계, 전처리된 텍스트 데이터 및 상기 텍스트 RPO 토큰을 기반으로 하나 이상의 텍스트 특징 값을 추출하는 단계, 전처리된 이미지 데이터 및 상기 이미지 RPO 토큰을 기반으로 하나 이상의 이미지 특징 값을 추출하는 단계, 상기 하나 이상의 텍스트 특징 값 및 상기 하나 이상의 이미지 특징 값을 기반으로 상기 텍스트 데이터 및 상기 이미지 데이터 사이의 유사도를 측정하는 단계, 상기 유사도를 기반으로 이미지 데이터와 가장 유사한 텍스트 데이터를 예측 레이블로 선택하는 단계 및 상기 예측 레이블과 실제 레이블을 기반으로 RPO 모델을 학습하는 단계를 포함할 수 있다.
상세 설명
기술분야
본 발명은 읽기 전용(read-only) 프롬프트 학습 방법 및 장치에 관한 것으로, 보다 상세하게는 기존의 프롬프트 학습 기법과 달리 데이터를 나타내는 토큰의 특징 값을 학습하지 않고 프롬프트의 특징 값만을 학습하여 데이터 정보를 훼손하지 않고 학습 가능한 프롬프트 학습 방법 및 이를 위한 장치에 관한 것이다.
해결하려는 과제
본 발명이 해결하고자 하는 기술적 과제는, 기존의 프롬프트 학습 기법과 달리 데이터를 나타내는 토큰의 특징값을 학습하지 않고 프롬프트의 특징 값만을 학습하여 데이터 정보를 훼손하지 않는 프롬프트 학습을 수행하는 것이다.
발명의 효과
본 발명의 다양한 실시 예들에 따르면, 기존 토큰들의 학습에 부정적인 영향을 미치지 않으면서 학습 가능한 읽기 전용 프롬프트 학습 방법이 제공된다.
또한, 본 발명의 다양한 실시 예들에 따르면, 딥러닝 모델의 레이블 일반화, 도메인 일반화 효과를 가지게 할수 있다. 모델을 일부의 데이터로 학습을 진행해도 다른 새로운 데이터에 대해서 좋은 성능을 가지는 물체 분류가 수행될 수 있도록 할 수 있으며, 학습 때 사용하지 않은 레이블을 가진 이미지에 대해서도 좋은 물체 분류 성능을 가지도록 할 수 있다.
