RGB 카메라 및 이벤트 카메라를 이용한 3차원 법선 벡터 예측 방법 및 장치
일 실시예에 따른 법선 벡터 예측 장치는 n 차수(n은 2 이상의 자연수)로 광원의 방향을 달리하여 객체를 촬영한 RGB 이미지 및 이벤트 이미지를 획득하는 동작; 차수 별 RGB 이미지의 제1 픽셀에서 픽셀 강도에 대한 정보를 포함하는 RGB 관찰맵을 추출하는 동작; 차수 별 이벤트 이미지의 제1 픽셀에서 이벤트의 변화에 대한 정보를 포함하는 이벤트 관찰맵을 추출하는 동작; 객체의 관찰맵과 신경망 모델의 출력맵의 차이를 손실 함수로 설정하여 학습시킨 제1 신경망 모델에 상기 이벤트 관찰맵을 입력하여 출력맵을 생성하는 동작; 및 객체의 법선 벡터와 신경망 모델의 출력 벡터의 차이를 손실 함수로 설정하여 학습시킨 제2 신경망 모델에 상기 RGB 관찰맵 및 상기 출력맵을 입력하여 상기 제1 픽셀의 법선 벡터를 특정하는 출력 벡터를 생성하는 동작을 수행할 수 있다.
상세 설명
기술분야
본 발명은 RGB 카메라 및 이벤트 카메라를 활용하여 객체를 촬영한 데이터를 함께 이용하여 객체 표면의 3차원 법선 벡터를 보다 정교하게 예측하는 기술에 관한 것이다.
해결하려는 과제
본 발명이 해결하고자 하는 과제는 RGB 카메라와 더불어, 광대한 범위의 빛의 영향에 의해 발생되는 노이즈에 강인한 이벤트 카메라의 데이터를 함께 사용하여, 넓은 다이내믹 레인지에서 객체의 3차원 법선 벡터를 예측할 수 있는 기술을 제공하는 것이다.
발명의 효과
본 발명은 광원의 방향을 달리하여 객체를 촬영한 RGB 이미지와 이벤트 이미지를 함께 이용하면서, RGB 이미지로부터 생성한 RGB 관찰맵을 통해 학습시킨 제1 신경망 모델을 이용하여 스파스(sparse)한 특성을 가진 이벤트 관찰맵이 조밀한 특성을 갖도록 보강할 수 있으며, 이로부터 생성한 RGB 관찰맵과 조밀한 이벤트 관찰맵을 함께 이용하여 객체의 법선 벡터를 예측할 수 있다.
이에 따라, 본 발명은 RGB 카메라로부터 획득한 데이터와 더불어, 광대한 범위의 빛의 영향에 의해 발생되는 노이즈 등에 강인한 이벤트 카메라의 데이터를 함께 사용함에 따라, 보다 넓은 다이내믹 레인지에서 객체의 3차원 법선 벡터를 정확하게 예측할 수 있다.
