본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

정보처리학회논문지. The KIPS transactions. Part B. Part B v.17B no.3, 2010년, pp.227 - 232  
본 등재정보는 저널의 등재정보를 참고하여 보여주는 베타서비스로 정확한 논문의 등재여부는 등재기관에 확인하시기 바랍니다.

임베디드 환경에서의 실시간 립리딩 시스템 구현
Real Time Lip Reading System Implementation in Embedded Environment

김영운    (원광대학교 컴퓨터공학과   ); 강선경    (원광대학교 컴퓨터공학과   ); 정성태    (원광대학교 컴퓨터공학과  );
  • 초록

    본 논문은 임베디드 환경에서의 실시간 립리딩 방법을 제안한다. 기존 PC 환경에 비하여 임베디드 환경은 사용할 수 있는 자원이 제한적이므로, 기존 PC 환경의 립리딩 시스템을 임베디드 환경에서 실시간으로 구동하기는 어렵다. 이러한 문제를 해결하기 위해 본 논문은 임베디드 환경에 적합한 입술영역 검출 방법과 입술 특징추출 방법, 그리고 발성 단어 인식 방법을 제안한다. 먼저 정확한 입술영역을 찾기 위해 얼굴 색상정보를 이용해 얼굴영역을 검출하고 검출된 얼굴 영역에서 양쪽 두 눈의 위치를 찾아 기하학적 관계를 이용해 정확한 입술영역을 검출한다. 검출된 입술영역에서 주위 환경 변화에 따른 조명 변화에 강인한 특징을 추출하기위해 히스토그램 매칭과 입술 폴딩, RASTA 필터를 적용하고 주성분 분석(PCA)을 이용한 특징계수를 추출해 인식에 사용하였다. 실험결과 CPU 806Mhz, RAM 128MB 사양의 임베디드 환경에서 발성 단어에 따라 1.15초에서 2.35초까지의 처리 속도를 보였으며, 180개의 단어 중 139개의 단어를 인식해 77%의 인식률을 얻을 수 있었다.


    This paper proposes the real time lip reading method in the embedded environment. The embedded environment has the limited sources to use compared to existing PC environment, so it is hard to drive the lip reading system with existing PC environment in the embedded environment in real time. To solve the problem, this paper suggests detection methods of lip region, feature extraction of lips, and awareness methods of phonetic words suitable to the embedded environment. First, it detects the face region by using face color information to find out the accurate lip region and then detects the exact lip region by finding the position of both eyes from the detected face region and using the geometric relations. To detect strong features of lighting variables by the changing surroundings, histogram matching, lip folding, and RASTA filter were applied, and the properties extracted by using the principal component analysis(PCA) were used for recognition. The result of the test has shown the processing speed between 1.15 and 2.35 sec. according to vocalizations in the embedded environment of CPU 806Mhz, RAM 128MB specifications and obtained 77% of recognition as 139 among 180 words were recognized.


  • 주제어

    립리딩 .   얼굴검출 .   입술검출 .   임베디드 시스템 .   사용자 인터페이스.  

  • 참고문헌 (17)

    1. E. D. Petajan, "Automatic lipreading to enhance speech recognition," in Proc. of Global Telecommunications Conf., pp.265-272, Nov. 1984. 
    2. C. C. Chibelushi, F. Deravi, and J. S. D. Mason, "A review of speech based bimodal recognition," IEEE Trans. Multimedia, Vol.4, No.1, pp.23-37, Mar. 2002. 
    3. G. Potamianos, C. Neti, G. Gravier, A. Garg, A.W. Senior, "Recent advances in the automatic recognition of audiovisual speech," Proceedings of the IEEE, Vol.91, No.9, pp.1306-1326, Sept. 2003. 
    4. J. S. Lee and C. H. Park, "Robust Audio-Visual Speech Recognition Based on Late Integration," IEEE Trans. on Multimedia, Vol.10, No.5, pp.767-779, Aug. 2008. 
    5. T. Wark, S. Sridharan, V. Chandran, "An approach to statistical lip modelling for speaker identification via chromatic feature extraction," Proc. of Fourteenth International Conference on Pattern Recognition, pp.123-125, Aug. 1998. 
    6. P. Delmas, N. Eveno, M. Lievin, "Towards robust lip tracking," Proc. of 16th International Conference on Pattern Recognition, pp.528-531, Aug. 2002. 
    7. S. Dupont and J. Luettin, "Audio-visual speech modeling for continuous speech recognition," IEEE Trans. on Multimedia, Vol.2, No.3, pp.141-151, Sep. 2000. 
    8. C. Bregler and Y. Konig, "Eigenlips for robust speech recognition," in Proc. IEEE ICASSP, Vol.2, pp.669-672, 1994 
    9. P. Duchnowski, U. Meier, and A. Waibel, "See me, hear me: Integrating automatic speech recognition and lip-reading," in Proc. ICSLP, Vol.2, pp.547-550, 1994. 
    10. G. Potamianos, A. Verma, C. Neti, G. Iyengar, and S. Basu, "A cascade image transform for speaker independent automatic speechreading," in Proc. 1st IEEE Int. Conf. Multimedia and Expo., Vol.2, pp.1097-1100, 2000. 
    11. S. Lucey, "An Evaluation of Visual Speech Features for the Tasks of Speech and Speaker Recognition," Proc. Int. Conf. Audio-Video-base Biometric Person Authentication, Guildford, UK, pp.260-267, 2003. 
    12. Jinyoung Kim, Joohun Lee, Katsuhiko Shirai, "An Efficient Lip-Reading Method Robust to Illumination Variations," IEICE TRANSACTIONS on Fundamentals of Electronics, Communications and Computer Sciences, Vol.E85-A, No.9, pp.2164-2168, September 2002. 
    13. Hynek Hermansky, Nelson Morgan, "RASTA processing of speech," IEEE Transactions on Speech and Audio Processing, Vol.2, No4, October 1994. 
    14. 김영운, 강선경, 정성태, "모바일 장치에서의 립리딩을 위한 실 시간 입술 영역 검출," 한국컴퓨터정보학회, 제14권, 제4호, 2009년 4월     
    15. 한은정, 강병준, 박강령, "AAM 기반 얼굴 표정 인식을 위한 입술 특징점 검출 성능 향상 연구," 한국정보처리학회논문지B, 제16권, 제4호, pp.299-308, 2009년 8월.     
    16. 이종석, 박철훈, "컬러 입술영상과 주성분분석을 이용한 자동 독순," 한국정보처리학회논문지B, 제15권, 제3호, pp.229-236, 2008년 6월.     
    17. 소인미, 김명훈, 김영운, 이지근, 정성태, "조명 변화에 견고한 얼굴 특징 추출," 한국정보처리학회 학술대회논문집, pp.697-700, 2005년 11월. 

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 이용한 콘텐츠
이 논문과 함께 출판된 논문 + 더보기