2024 한국인공지능학회 유창동교수 연구실 윤희석(석박통합과정) 우수 논문상 수상

<(좌측부터) 유창동 교수,  윤희석 석박통합과정 사진>

한국인공지능학회는 매년 분기별로 개최하는 학회이며, 이번 하계 학술대회는 8월 15일부터 17일까지 부산 벡스코에서 개최될 예정이다.
윤희석 석박사통합과정생은 “BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation”라는 제목의 논문의 우수성을 인정받아 수상자로 선정되었다.

또한, 해당 연구 결과는 올해 9월 이탈리아 밀라노에서 열리는 컴퓨터 비전 분야 최우수 국제 학회 중 하나인 ‘European Conference on Computer Vision (ECCV) 2024‘에서 발표될 예정이다 (논문명: BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation).

자세한 내용은 다음과 같다.

0 학회명: 2024 한국인공지능학회 하계학술대회
0 개최기간: 2024년 08월 15일 ~ 17일
0 수상명: 우수 논문상
0 저자: 윤희석, 윤은섭, 유창동 (지도교수)
0 논문명: BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation

본 연구는 기존의 챗GPT와 같은 멀티모달 대화형 거대 모델의 한계를 극복하고, 멀티모달 다이얼로그에서 이미지 생성의 일관성을 유지하는 혁신적인 연구로 평가받고 있다.  

그림 1 : ChatGPT와 BI-MDRG의 이미지 응답 예시 

기존의 멀티모달 다이얼로그 모델들은 이미지를 생성할 때 이미지에 대한 텍스트 묘사를 우선적으로 생성하고, 이를 text-to-image 모델을 활용하여 이미지를 생성하였다.

이러한 경우, 이전 대화에 포함되어 있던 이미지의 시각적 정보를 충분히 반영하지 못해 일관성이 부족한 이미지 응답을 생성하는 경우가 많았으나, 유창동 교수 연구팀의 BI-MDRG는 이미지의 직접적 참조 기법을 통해 이미지 정보 손실을 최소화하여 일관된 이미지 응답 생성을 가능하게 하였다. 

그림 2 : 기존의 멀티모달 대화 시스템에서의 문제점 및 BI-MDRG 방법론 도식화

BI-MDRG는 기존 멀티모달 대화 모델이 가지는 이미지 정보 손실 문제를 해결하기 위해 설계된 새로운 시스템으로, Attention Mask Modulation과 Citation Module을 제안한다.

Attention Mask Modulation은 텍스트로 변환된 이미지 설명 대신 이미지 그 자체에 집중하여 대화를 수행할 수 있도록 하며, Citation Module은 대화 중 등장하는 동일한 물체에 Citation 태깅을 통해 이미지 응답 생성 시 유지되어야 할 물체를 직접 참조함으로써 일관된 응답을 가능하게 한다.

연구팀은 다양한 멀티모달 다이얼로그 벤치마크에서 BI-MDRG의 성능을 검증하였다. 그 결과, BI-MDRG는 높은 대화 수행능력과 일관성을 기록하였다.

그림 3: BI-MDRG 모델의 상세 구조

BI-MDRG는 다양한 멀티모달 응용 분야에서 실용적인 솔루션을 제공할 수 있다.

예를 들어, 고객 서비스에서는 사용자와의 대화 내용을 기반으로 정확한 이미지를 제공하여 만족도를 높일 수 있으며, 교육 분야에서는 학습자의 질문에 대해 관련된 이미지와 텍스트를 일관되게 제공하여 이해도를 향상시킬 수 있다. 또한, 엔터테인먼트 분야에서는 대화형 게임에서 자연스럽고 몰입감 있는 상호작용을 가능하게 할 수 있다.

전기및전자공학부 김준모 교수, 24년도 정보통신•방송 기술개발사업 ‘SW스타랩 과제’ 신규 선정

<김준모 교수 사진>

전기및전자공학부 김준모 교수 연구실이 과학기술정보통신부와 정보통신기획평가원(IITP)이 주관하는 정보통신•방송 기술개발사업(SW스타랩)의 2024년도 신규지원 대상으로 선정되었다.

SW스타랩 과제는 SW핵심기술 5대 분야(‘빅데이터’, ‘클라우드’, ‘알고리즘’, ‘응용SW’, ‘인공지능’)의 세계적 원천기술 확보 및 이를 주도할 석•박사급 SW인재 양성을 목표로 하며, 해당 과제에 선정된 연구실은 8년간 총 약 15억(연간 약 2억)의 연구비를 지원받게 된다.

김준모 교수 연구실에서는 ‘인공지능’ 분야에 “지속가능한 실시간 멀티모달 인터렉티브 생성 AI 개발”를 제안하였습니다. 해당 과제는 3D 기반의 이미지/비디오 생성 모델을 통해 기존 2D 기반 이미지/비디오 생성 모델의 문제점을 해결하는 것을 목표로 한다. 

객체를 특정 시점이 아니라 객체 그 자체로 이해하여 사실적인 객체 생성과 움직임 표현이 가능한 이미지/비디오 생성 모델을 연구한다. 또한, 멀티모달 입력 이해와 유해 컨텐츠 생성 제한과 같이 단순 생성 모델이 아닌 사회/경제적 효과가 고려된 기술 개발을  제안한다.

본 과제는 전기및전자공학부 권인소 교수가 책임교수를 맡아 KAIST 초세대협업연구실로 선정된 비전중심 범용인공지능 연구실과 연계해 시너지를 낼 것으로 기대된다.  

유민수 교수, 24년도 정보통신•방송 기술개발사업 ‘SW스타랩 과제’ 신규 선정

<유민수 교수 사진>

전기및전자공학부 유민수 교수 연구실에서 과학기술정보통신부/정보통신기획평가원(IITP)이 주관하는 정보통신•방송 기술개발사업(SW스타랩)의 2024년도 신규지원 대상과제로 선정되었다. SW분야 세계적 원천기술 확보 및 석•박사급 인재 양성을 목표로 하는 “SW스타랩” 과제에 선정된 연구실은 8년간 총 약 15억(연간 약 2억)의 연구비를 지원받게 된다.

유민수 교수 연구실에서는 ‘클라우드/컴퓨팅’ 분야에 “개인정보보호 인공지능의 고성능 학습을 위한 차세대 클라우드 시스템 소프트웨어(High-performance Privacy-preserving Machine Learning System Software for Cloud Computing)”를 제안하여 선정되었다.

제안한 연구는 개인정보를 보호할 수 있는 인공지능 학습 파이프라인을 개발하는 것을 목표로 한다. 개인정보를 보호할 수 있는 인공지능 학습은 데이터의 저장 및 분석 단계에서부터 학습 데이터를 생성하는 데이터 처리 및 생성, 그리고 인공지능 모델 학습까지 3단계로 이루어지는데, 이를 고성능으로 수행할 수 있는 차세대 클라우드 시스템을 개발하는 것을 목표로 하는 것이다.

빅테크 기업들은 다양한 인공지능 서비스들의 품질 향상을 위해, 사용자 데이터를 대량으로 수집하여 인공지능 모델을 학습하고 정확도를 개선하기 위해 큰 노력을 기울이고 있다.

하지만 이 과정에서 사용자의 민감한 개인정보가 데이터센터로 전송 및 저장, 그리고 분석되는 중에 유출되거나, 이를 기반으로 학습된 모델이 추론 서비스 시에 학습에 사용된 민감한 개인정보를 유출하는 등 사용자 개인정보보호가 국내외적으로 심각한 사회적 문제로 대두되고 있다. 본 연구는 이러한 인공지능 개인정보 침해 문제를 해결하고 안전한 신기술 정착에 기여하고자 제안되었다.

또한 본 연구를 성공적으로 수행할 경우, 강화된 개인정보보호 규제로 인해 인공지능 학습을 위한 연산 복잡도 및 컴퓨팅 자원 요구량이 크게 증가해, 경제성 있는 상용화 기술의 난이도가 더욱 증가할 것으로 전망되는 상황 속에서, 개인정보보호 인공지능 서비스를 위한 모델 학습 및 추론 비용을 크게 낮춤으로써 탄소 배출량 감소와 함께 해당 기술 상용화의 우위를 선점할 수 있을 것으로 기대된다.

전기및전자공학부 김창익 교수 연구팀, 비디오 인식의 새로운 패러다임을 여는 고효율 모델 ‘VideoMamba’ 개발

<(좌측부터) 김창익교수, 박진영 석박통합과정, 김희선 박사과정, 고강욱 박사과정, 김민범 박사과정 사진>

챗GPT와 같은 거대 언어 모델의 근간이 되는 트랜스포머로 구축된 기존 비디오 모델보다 8배 낮은 연산량과 4배 낮은 메모리 사용량으로도 높은 정확도를 기록했으며, 추론 속도 또한 기존 트랜스포머 기반 모델 대비 4배의 매우 빠른 속도를 달성한 동영상 인식기술이 우리 연구진에 의해 개발됐다. 

우리 대학 전기및전자공학부 김창익 교수 연구팀이 초고효율 동영상 인식 모델 ‘비디오맘바(VideoMamba)’를 개발했다고 23일 밝혔다. 

비디오맘바는 기존 트랜스포머 기반 모델들이 가지고 있는 높은 계산 복잡성을 해결하기 위해 설계된 새로운 동영상 인식 모델이다. 기존의 트랜스포머 기반 모델들은 셀프-어텐션(self-attention)이라는 메커니즘에 의존해 계산 복잡도가 제곱으로 증가하는 문제를 가지고 있었다.

< 그림 1. 비디오맘바의 트랜스포머 기반 비디오 인식 모델 대비 낮은 메모리 사용량과 빠른 추론속도 >

김창익 교수 연구팀의 비디오맘바는 선택적 상태 공간 모델(Selective State Space Model, Selective SSM)* 메커니즘을 활용해 선형 복잡도**로 효율적인 처리가 가능하다. 이를 통해 비디오맘바는 동영상의 시공간적 정보를 효과적으로 포착해 긴 종속성을 가진 동영상 데이터도 효율적으로 처리할 수 있다.

*선택적 상태 공간 모델(Selective SSM): 입력에 따라 동적으로 매개변수를 조정하여 시퀀스 데이터의 문맥을 더 잘 이해하는 상태 공간 모델

**선형 복잡도:입력 데이터의 크기에 비례하여 계산량이 증가하는 알고리즘 복잡도 

김창익 교수 연구팀은 동영상 인식 모델의 효율성을 극대화하기 위해 비디오맘바에 1차원 데이터 처리에 국한된 기존 선택적 상태 공간 메커니즘을 3차원 시공간 데이터 분석이 가능하도록 고도화한 시공간적 전방 및 후방 선택적 상태 공간 모델(spatio-temporal forward and backward SSM)을 도입했다. 

이 모델은 순서가 없는 공간 정보와 순차적인 시간 정보를 효과적으로 통합해 인식 성능을 향상한다. 연구팀은 다양한 동영상 인식 벤치마크에서 비디오맘바의 성능을 검증했다. 

연구팀이 개발한 비디오맘바는 영상 분석이 필요한 다양한 응용 분야에서 효율적이고 실용적인 솔루션을 제공할 수 있다. 예를 들어, 자율주행에서는 주행 영상을 분석해 도로 상황을 정확하게 파악하고, 보행자와 장애물을 실시간으로 인식해 사고를 예방할 수 있다. 

의료 분야에서는 수술 영상을 분석해 환자의 상태를 실시간으로 모니터링하고 긴급 상황 발생 시 신속히 대처할 수 있다. 스포츠 분야에서는 경기 중 선수들의 움직임과 전술을 분석해 전략을 개선하고, 훈련 중 피로도나 부상 가능성을 실시간으로 감지해 예방할 수 있다.

< 그림 2. 비디오맘바 내부의 시공간적 전방 및 후방 선택적 상태 공간 모델 상세 구조 >

연구를 주도한 김창익 교수는 “비디오맘바의 빠른 처리 속도와 낮은 메모리 사용량, 그리고 뛰어난 성능은 우리 생활에서의 다양한 동영상 활용 분야에 큰 장점을 제공할 것이다”고 연구의 의의를 설명했다. 

이번 연구에는 전기및전자공학부 박진영 석박사통합과정, 김희선 박사과정, 고강욱 박사과정이 공동 제1 저자, 김민범 박사과정이 공동 저자, 그리고 전기및전자공학부 김창익 교수가 교신 저자로 참여했다. 

연구 결과는 올해 9월 이탈리아 밀라노에서 열리는 컴퓨터 비전 분야 최우수 국제 학회 중 하나인 ‘European Conference on Computer Vision(ECCV) 2024’에서 발표될 예정이다. (논문명: VideoMamba: Spatio-Temporal Selective State Space Model) 

한편, 이번 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행됐다. (No. 2020-0-00153, 기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발)