시스템 모델링 시뮬레이션 연구실의 연구 결과가 AI분야의 저명 학술지인 Information Fusion (IF = 18.6, 상위 1.8%)에 게재되었다. 논문의 제목은 ‘Bimodal semantic fusion prototypical network for few-shot classification’으로, Few-shot learning 분야에서 학습 정보가 부족한 단점을 해결하기 위해 카테고리의 텍스트 정보를 활용하여 중요한 영역을 강조하는 BSF-PN을 제안하였다. BSF-PN은 대형 언어 모델(LLM)을 통해 카테고리의 텍스트 지식을 얻으며, 개발된 프로토타입 생성기 모듈을 이용하여 텍스트 지식과 시각적 특징 맵 간의 상호 작용으로 중요한 영역을 강조할 수 있는 프로토타입을 생성한다. 또한, 프로토타입과 관련된 분류 대상 간의 정렬을 개선하기 위해 프로토타입 교정 모듈을 통해 서로 다른 카테고리의 프로토타입 간의 상호 관계를 고려하여 카테고리에 대해 중요한 프로토타입 특징을 보존한다. 다양한 Few-shot 벤치마크에 대한 실험을 통해 제안된 방법은 SOTA 방법보다 우수함을 입증하였다.

본 논문에는 황시랑 박사후과정 연구원이 1저자, 최선한 교수가 교신저자로 참여하였다. 해당 논문은 https://doi.org/10.1016/j.inffus.2024.102421에서 확인할 수 있다.