본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

3차원 깊이 추정 정보를 이용한 능동적 외양모델 기반 3차원 얼굴 모델 피팅 기법
3D Face Model Fitting Method based on Active Appearance Model with 3D Depth Estimation

주명호    (가톨릭대학교 컴퓨터공학과   ); 강행봉    (가톨릭대학교 디지털미디어학과  );
  • 초록

    얼굴의 3차원 정보를 인식하기 위해서는 3D 스캐너, 깊이 카메라 등과 같은 고가의 장비가 요구된다. 본 논문에서는 손쉽게 획득 가능한 2차원의 얼굴 영상을 학습하여 3차원으로 변화하는 사용자 얼굴의 포즈 (X, Y, Z축 이동 및 회전) 및 얼굴 표정 변화에 대한 3차원 얼굴 정보의 효과적인 추적, 피팅(Fitting) 방법을 제안한다. 제안된 방법은 학습된 2차원의 얼굴 형태와 3차원의 깊이 정보를 결합하여 입력 얼굴을 피팅하기 때문에 입력 얼굴의 3차원 얼굴 포즈가 학습 영상에 의존적이지 않으며 사전 학습되지 않은 얼굴 포즈에 대해서도 효과적인 3차원 얼굴 피팅을 수행한다. 본 논문에서는 사용자의 얼굴 표정 변화를 학습하기 위해 먼저 사용자의 정면 얼굴에 대한 표정 변화를 Active Appearance Models을 이용하여 학습한다. 그리고 정면, 측면의 얼굴 포즈를 갖는 3장의 영상으로부터 얼굴의 깊이 정보를 추정하고 추정된 깊이 정보와 학습된 AAM을 결합하여 얼굴의 3차원 정보를 피팅한다. 또한 얼굴의 포즈 변화는 3차원 회전을 포함하기 때문에 자기 가림(Self-Occlusion)이 발생된다. 본 논문에서는 이러한 자기 가림이 발생된 영역에 대해 정규 얼굴(Normalized face)의 가중치를 부여함으로써 보다 정확한 3차원 얼굴 피팅을 수행한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM 및 View-based AAM에 비해 정확한 얼굴 피팅을 수행할 수 있음을 보인다.


    Special cameras (e.g. 3D scanners or depth cameras) are needed to recognize 3D shape information from input faces. In this paper, we propose an efficient face fitting method which can fit various 3D faces including various poses (the rotation of X, Y axies) and facial expressions. Our method takes advantage of 2D Active Appearance Models (AAM) from 2D face images rather than the depth information measured by special cameras. The proposed method combines 2D face model with depth information, thereby the poses of the input faces are not depend on the training data. We construct an AAM for the variation of facial expressions. Then, we estimate depth information of each land mark from frontal, side view images. By combining the estimated depth information with AAM, we can fit various 3D faces. Self-occlusions due to the 3D pose variation are also processed by the region weighting function on the normalized face at each frame. Our proposed method can fit on various face poses which are not trained. Our experimental results show that the proposed method can efficiently fit various faces better than the typical AAM and View-based AAM.


  • 주제어

    3D 얼굴 .   얼굴 피팅 .   3D 얼굴 형태 .   3D Face .   Face Fitting .   3D Face Shape.  

  • 참고문헌 (15)

    1. N. Faggian, A. P. Paplinski, and J Sherrah, "Active Appearance Models for Automatic Fitting of 3D Morphable Models," IEEE International Conference on Video and Signal Based Surveillance, 90, 2006. 
    2. Y. Sun and L. Yin, "Automatic pose estimation of 3D facial models," ICPR, 2008. 
    3. Skoglund, "Three-dimensional face modeling and analysis," M.S. thesis, Informatics and Mathematical Modelling, Tech. Univ. Denmark, Lyngby, Denmark, 2003. 
    4. T. F. Cootes, G. J Edwards, and C. J Taylor. "Active Appearance Models," IEEE Transactionis on Pattern Analysis and Machine Intelligence, vol.23, no.6, pp.681-685, 2001. 
    5. T. F. Cootes, G. V. Wheeler, K. N. Walker and C. J Taylor, "View-based active appearance models," Image and Vision Computing, vol.20, pp.657-664, 2002. 
    6. K.- J. Yoon, and 1. S. K wean, "Adaptive SupportWeight Approach for Correspondence Search," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.28, no.4, pp.650- 656, 2006. 
    7. C. - W. Chen, and C. -C. Wang, "3D Active Appearance Model for Aligning Faces in 2D Images," Proceedings of the IEEE/RS International Conference on Intelligent Robots and Systems, pp.3133- 3139, 2008. 
    8. J Sung, and D. Kim, "Pose- Robust Facial Expression Recognition Using View- Based 2D+3D AAM," IEEE Transactions On Systems, Man and Cybernetics, Part A: SYSTEMS AND HUMANS, vol.38, no.4, pp.852-866, 2008. 
    9. J Xiao, S. Baker, 1. Matthews, and T. Kanade. "Real-Time Combined 2D+3D Active Appearance Models," Proceedings of the IEEE Coriference on Computer Vision and Pattern Recognition, pp.535- 542, 2004 . 
    10. M. Zhou, L. Liang, J Sun and Y. Wang, "AAM based Face Tracking with Temporal Matching and Face Segmentation," CVPR, 2010. 
    11. J Heo, and M. Savvides, "In Between 3D Active Appearance Models and 3D Morphable Models," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp.20-26, 2009. 
    12. Y. Line, G. Medioni and J Choi, "Accurate 3D Face Reconstruction from Weakly Calibrated Wide Baseline Images with Profile Contours," CVPR, 2010. 
    13. C. Goodall, "Procrustes methods in the statistical analysis of shape," Journal of the Royal Statistical Society B, vol.53, no.2, pp.285-339, 1991. 
    14. M. S. Arulampalam, S. Maskell, N. Gordon, and T. Clapp, "A Tutorial on particle filters for online nonlinear/ non- gaussian bayesian tracking," IEEE Transaction on signal processing, vol.50, no.2, Feb. 2002. 
    15. M. Isard and A. Blake, "CONDENSATION - conditional density propagation for visual tracking," Int. J. Computer Vision, vol.29, no.1, pp.5-28, 1998. 
  • 이 논문을 인용한 문헌 (1)

    1. Kim, Jung-Min ; Li, Shengzhe ; Kim, Hak-Il 2014. "2D - 3D Human Face Verification System based on Multiple RGB-D Camera using Head Pose Estimation" 情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, 24(4): 607~616     

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 이용한 콘텐츠
이 논문과 함께 출판된 논문 + 더보기