[노용만교수, 박사과정 이상민, 박사과정 박성준, 왼쪽부터]
전기및전자공학부 이상민, 박성준 박사과정생 (노용만교수 연구실) 이 11th Video Browser Showdown (VBS 2022)의 AVS (Ad-hoc Video Search) 부문에서 우승 (Best AVS) 을 차지하였다.
Video Browser Showdown 은 비디오 검색의 매년 개최되는 국제 대회이며, 이번 VBS 2022는 11번째 국제 대회이다.
올해 대회는 전세계에서 본선에 선정된 16개 비디오 검색 팀이 지난 6월 6일부터 7일까지 이틀 동안 Vietnam Phú Quốc에서 진행되었다.
AVS 부문은 임의의 쿼리에 대해 수백만(약 250만)의 비디오에서 관련 비디오들을 빠르게 검색하여 맞추는 챌린저이다.
이상민, 박성준 박사과정생이 개발한 검색엔진은 visual-audio-language 멀티 도메인의 multi-modal 연관성을 기반으로 타겟 비디오를 검색하는 멀티모달러닝 알고리즘이 기반 된 것이다.
세개의 모달리티로 구성된 latent 정보로 해당 비디오를 최적으로 검색한다.
그리고 이와 연관된 visual-audio 멀티모달 표현 학습 연구 결과는 AI Top tier 학술대회인 CVPR 2022에 “Weakly Paired Associative Learning for Sound and Image Representations via Bimodal Associative Memory” 논문으로 발표될 예정이다.
수상 대회 정보
– 대회명 : 11th Video Browser Showdown 2022
– 수상명 : Best AVS (1st place winner in Ad-hoc Video Search)
– 수상자 : 이상민, 박성준 (노용만 교수 연구실)
