본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

멀티미디어학회논문지 = Journal of Korea Multimedia Society v.14 no.4, 2011년, pp.494 - 503   피인용횟수: 1
본 등재정보는 저널의 등재정보를 참고하여 보여주는 베타서비스로 정확한 논문의 등재여부는 등재기관에 확인하시기 바랍니다.

스마트폰에서 웃음 치료를 위한 표정인식 애플리케이션 개발
Development of Recognition Application of Facial Expression for Laughter Theraphy on Smartphone

강선경    (원광대학교 컴퓨터공학과   ); 이옥걸    (원광대학교 컴퓨터공학과   ); 송원창    (원광대학교 컴퓨터공학과   ); 김영운    (원광대학교 컴퓨터공학과   ); 정성태    (원광대학교 컴퓨터공학과  );
  • 초록

    본 논문에서는 스마트폰에서 웃음 치료를 위한 표정인식 애플리케이션을 제안한다. 제안된 방법에서는 스마트폰의 전면 카메라 영상으로부터 AdaBoost 얼굴 검출 알고리즘을 이용하여 얼굴을 검출한다. 얼굴을 검출한 다음에는 얼굴 영상으로부터 입술 영역을 검출한다. 그 다음 프레임부터는 얼굴을 검출하지 않고 이전 프레임에서 검출된 입술영역을 3단계 블록 매칭 기법을 이용하여 추적한다. 카메라와 얼굴 사이의 거리에 따라 입술 영역의 크기가 달라지므로, 입술 영역을 구한 다음에는 고정된 크기로 정규화한다. 그리고 주변 조명 상태에 따라 영상이 달라지므로, 본 논문에서는 히스토그램 매칭과 좌우대칭을 결합하는 조명 정규화 알고리즘을 이용하여 조명 보정 전처리를 함으로써 조명에 의한 영향을 줄일 수 있도록 하였다. 그 다음에는 검출된 입술 영상에 주성분 분석을 적용하여 특징 벡터를 추출하고 다층퍼셉트론 인공신경망을 이용하여 실시간으로 웃음 표정을 인식한다. 스마트폰을 이용하여 실험한 결과, 제안된 방법은 초당 16.7프레임을 처리할 수 있어서 실시간으로 동작 가능하였고 인식률 실험에서도 기존의 조명 정규화 방법보다 개선된 성능을 보였다.


    In this paper, we propose a recognition application of facial expression for laughter theraphy on smartphone. It detects face region by using AdaBoost face detection algorithm from the front camera image of a smartphone. After detecting the face image, it detects the lip region from the detected face image. From the next frame, it doesn't detect the face image but tracks the lip region which were detected in the previous frame by using the three step block matching algorithm. The size of the detected lip image varies according to the distance between camera and user. So, it scales the detected lip image with a fixed size. After that, it minimizes the effect of illumination variation by applying the bilateral symmetry and histogram matching illumination normalization. After that, it computes lip eigen vector by using PCA(Principal Component Analysis) and recognizes laughter expression by using a multilayer perceptron artificial network. The experiment results show that the proposed method could deal with 16.7 frame/s and the proposed illumination normalization method could reduce the variations of illumination better than the existing methods for better recognition performance.


  • 주제어

    표정인식 .   3단계 블록 매칭 .   주성분 분석 .   다층 인공 신경망.  

  • 참고문헌 (14)

    1. Lienhart R, and Maydt J, "An extended Set of Harr-Like Features for Rapid Object Detection," Proceedings of International Conference on Image Processing, Vol.1, pp. I-900-I-903, 2002. 
    2. Viola P and Jones M, "Rapid Object Detection Using a Boosted Cascade of Simple Features," Computer Vision and Pattern Recognition, CVPR 2001. Vol.1, pp. I-511-I-518, 2001. 
    3. 이우주, 김진철, 이배호, " AdaBoost 알고리즘을 이용한 실시간 얼굴 검출 및 추적," 한국멀티미디어학회논문지, Vol.9, No.10, pp. 1266-1275, 2006.     
    4. J. Lien, T. Kanade and C. Li, "Detection, Tracking, and Classification of Action Units in Facial Expression," Journal of Robotics and Autonomous Systems, Vol.31, No.3, pp. 131-146, 2000 
    5. C. Padgett and G. Cottrell, "Representing Face Images for Emotion Classification," Advances in Neural Information Processing Systems. Vol. 9, MIT Press. 1997. 
    6. 김호덕, 양현창, 박창현, 심귀보, "PCA을 이용 한 얼굴 표정의 감정인식 방법," Proceedings of KFIS Autumn Conference, 제16권, 제2호, pp. 772-776, 2006. 
    7. 신영숙 "PCA 표정을 이용한 강인한 얼굴 표정인식," 한국인지과학회 논문지, 제16권, 제4호, pp. 323-331, 2005. 
    8. 한수정, 곽근창, 고현주, 김승석, 전명근, "ICA-factorial 표현법을 이용한 얼굴감정인식," 한국퍼지 및 지능시스템학회 논문지, 제13권, 제3호, pp. 371-376, 2003.     
    9. 이옥걸, 강선경, 김용운, 정성태, "웃음 치료 훈련을 위한 웃음 표정 인식 시스템 개발," 한국컴퓨터 정보학회 논문지, 제15권, 제4호, pp. 47-55, 2010.     
    10. T. Koga, K. Linuma, A. Hirano, Y. Iijima, and T. Ishiguro, "Motion-Compensated Interframe Coding for Video Conference," in Proc. NTC 81, pp. C961-965, 1981. 
    11. J. R. Jain and A. K. Jain, "Displacement Measurement and Its Application in Interframe image Coding," IEEE Trans. on Communications, Vol.COM-33, pp. 1011-1014, 1985. 
    12. Th. Zahariadis and D. Kalivas, "A Spiral Search Algorithm For Fast Estimation Of Block Motion Vectors," Signal Processing VIII , theories and applications. Proceedings of the EUSIPCO 96., Vol.2, pp. 1079-1082. 
    13. M.Ghanbari, "The Cross Search Algorithm for Motion Estimation," IEEE Transactions on Communications, Vol.38, No.7 pp. 950-3, 1990. 
    14. Kwon Moon Nam, Joon-Seek Kim, and Rae-Hong Park, "A Fast Hierarchical Motion Vector Estimation Algorithm Using Mean Pyramid," IEEE Transactions on Circuits and Systems for Video technology, Vol.5, No.4, pp. 344-351, 1995. 
  • 이 논문을 인용한 문헌 (1)

    1. Won, Chulho 2013. "A Study on Facial Expression Recognition using Boosted Local Binary Pattern" 멀티미디어학회논문지 = Journal of Korea Multimedia Society, 16(12): 1357~1367     

 저자의 다른 논문

  • 강선경 (17)

    1. 2006 "EOG와 마커인식을 이용한 착용형 사용자 인터페이스" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 11 (6): 133~141    
    2. 2006 "헬스케어를 위한 영상기반 기절동작 인식시스템 개발" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 11 (6): 279~287    
    3. 2006 "스테레오 영상을 이용한 얼굴 포즈 추정" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 11 (3): 151~159    
    4. 2006 "사각형 마커 검출 및 인식 시스템 개발" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 11 (4): 97~107    
    5. 2008 "인공신경망을 이용한 마커 검출 및 인식의 정확도 개선" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 13 (1): 89~97    
    6. 2011 "치매 예방을 위한 제스처 인식 기반 3D 기능성 게임 개발" 한국게임학회 논문지 = Journal of Korea Game Society 11 (6): 103~113    
    7. 2011 "자가 미소 훈련을 위한 자동 미소 분석 시스템" 멀티미디어학회논문지 = Journal of Korea Multimedia Society 14 (11): 1373~1382    
    8. 2011 "실버세대를 위한 기능성 게임의 기술 동향" 韓國컴퓨터情報學會誌 = KSCI review 19 (1): 23~29    
    9. 2013 "3D depth 카메라를 이용한 재활훈련 기능성 게임 개발" 한국게임학회 논문지 = Journal of Korea Game Society 13 (1): 19~30    
    10. 2013 "ASM과 SVM을 이용한 설진 시스템 개발" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 18 (4): 45~55    
  • 이옥걸 (0)

  • 송원창 (1)

  • 김영운 (11)

  • 정성태 (54)

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 이용한 콘텐츠
이 논문과 함께 출판된 논문 + 더보기