저자: Dong Hoon Lee, Sae-Young Chung
내용:
적은 데이터 환경에서 활용할 수 있는 심층망 기반 자기학습을 위해, 심층 신경망이 학습과정에서 일반화된 특징을 암기를 요구하는 특징보다 빠르게 학습하는 현상을 활용하였다. 현상을 통해 적은 데이터만으로도 태스크에 유용한 정보로 구성된 특징을 얻는 새로운 비지도 특징 적응 방법론인 ESFR (Early-Stage Feature Reconstruction)을 개발하였다. ESFR은 위 현상을 활용하기 위한 자기학습 과정인 특징 재구축 학습(feature reconstruction training)과 과적합을 방지하고 적절한 시점에 학습을 종료하기 위한 차원 기반 학습 종료 기법(dimensionality driven early stopping)으로 구성된다.
ESFR에서 자기학습은 특징 레벨에서 자기부호화기(autoencoder) 형태로 재구축 학습을 통해 진행되며, 태스크와 관련된 일반화 가능한 특징이 분리되어 학습 초기 단계에 재구축된다. 이는 소수 샷 분류 정확도가 학습 초기 단계에 상승함을 통해 확인할 수 있었다. 이후 재구축 학습을 통해 암기 형태의 특징도 함께 배워지게 되는데, ESFR은 이러한 불필요한 정보가 배워지는 것을 LID (Local Intrinsic Dimensionality)을 통해 학습을 조기 종료 함으로써 방지하였다. ESFR의 우수성은 소수 샷 분류 벤치마크를 통해 검증되었으며, 데이터셋이나 분류 환경을 가리지 않고 최고성능을 달성하였다.
