<(좌측부터) 윤찬현 교수, 장진혁 박사과정, 이창하 박사과정, 전민수 박사 사진>
우리 학부 윤찬현 교수 연구팀은 확산 모델 기반의 생성형 AI가 빈번하게 비정상 데이터를 생성하는 문제를 개선할 수 있는 Momentum기반 생성 기술을 개발하였다.
최근 큰 관심을 받고 있는 확산 모델 기반의 생성형 AI은 전체적으로 사실적인 영상을 생성하지만, 기이하게 꺾인 관절, 세 개뿐인 말의 다리 등 세부적인 부분에서 비현실적인 영상이 빈번하게 생성된다는 문제가 있다.
그림 1 : 제안된 기법이 적용된 Stable Diffusion 생성 결과
연구팀은 문제해결을 위해 확산 모델의 생성 과정을 경사하강법과 같은 최적화 문제로 재해석하였다. 확산 모델의 생성 과정과 경사하강법은 모두 Generalized Expectation-Maximization 문제로 표현될 수 있으며, 시각화를 통해 생성과정에 실제로 수많은 Local Minima 및 Saddle Point들이 존재함을 확인할 수 있었다. 이를 통해, 부적절한 결과물들이 일종의 Local Minima 혹은 Saddle Point와 같음을 보였다.
이런 관찰에 기반해, 연구팀은 최적화에서 널리 사용되는 Momentum 기법을 생성 과정에 도입했다.
다양한 실험을 통해 추가 학습이 없이도 부적절한 영상의 생성이 현저히 줄어들고, 연산량 대비 생성 영상의 품질이 올라감을 확인할 수 있었다. 본 결과는 확산모델의 생성 과정이 모두 점진적 최적화 문제라는 재해석을 제시하고, Momentum 기법을 생성 과정에 도입해 부적절한 결과물을 줄이는 결과를 보였다.
새로운 연구 성과를 통해 생성 결과의 개선뿐 아니라 생성형 AI에 대한 새로운 해석 및 다양한 후속연구를 가져올 것으로 기대된다. 해당 연구 결과는 올해 2월 캐나다 벤쿠버에서 열린 AI 분야 최우수 국제 학회 중 하나인 38th Annual AAAI Conference on Artificial Intelligence (AAAI 2024)에서 ‘Rethinking Peculiar Images by Diffusion Models: Revealing Local Minima’s Role’라는 제목으로 발표되었다.
