본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

HMM(Hidden Markov Model) 기반의 견고한 실시간 립리딩을 위한 효율적인 VLSI 구조 설계 및 FPGA 구현을 이용한 검증
Design of an Efficient VLSI Architecture and Verification using FPGA-implementation for HMM(Hidden Markov Model)-based Robust and Real-time Lip Reading

이지근   (원광대학교 컴퓨터공학과UU0001021  ); 김명훈   (원광대학교 컴퓨터공학과UU0001021  ); 이상설   (원광대학교 전기전자 및 정보공학부UU0001021  ); 정성태   (원광대학교 전기전자 및 정보공학부UU0001021  );
  • 초록

    립리딩은 잡음이 있는 환경에서 음성 인식 시스템의 성능 향상을 위한 한 방법으로 제안되었다. 기존의 논문들이 소프트웨어 립리딩 방법을 제안하는 것에 반하여, 본 논문에서는 실시간 립리딩을 위한 하드웨어 설계를 제안한다. 실시간 처리와 구현의 용이성을 위하여 본 논문에서는 립리딩 시스템을 이미지 획득 모듈, 특징 벡터 추출 모듈, 인식 모듈의 세 모듈로 분할하였다. 이미지 획득 모듈에서는 CMOS 이미지 센서를 사용하여 입력 영상을 획득하게 하였고, 특징 벡터 추출 모듈에서는 병렬 블록매칭 알고리즘을 이용하여 입력영상으로부터 특징벡터를 추출하도록 하였고, 이를 FPGA로 코딩하여 시뮬레이션 하였다. 인식 모듈에서는 추출된 특징 벡터에 대하여 HMM 기반 인식 알고리즘을 적용하여 발성한 단어를 인식하도록 하였고, 이를 DSP에 코딩하여 시뮬레이션 하였다. 시뮬레이션 결과 실시간 립리딩 시스템이 하드웨어로 구현 가능함을 알 수 있었다.


    Lipreading has been suggested as one of the methods to improve the performance of speech recognition in noisy environment. However, existing methods are developed and implemented only in software. This paper suggests a hardware design for real-time lipreading. For real-time processing and feasible implementation, we decompose the lipreading system into three parts; image acquisition module, feature vector extraction module, and recognition module. Image acquisition module capture input image by using CMOS image sensor. The feature vector extraction module extracts feature vector from the input image by using parallel block matching algorithm. The parallel block matching algorithm is coded and simulated for FPGA circuit. Recognition module uses HMM based recognition algorithm. The recognition algorithm is coded and simulated by using DSP chip. The simulation results show that a real-time lipreading system can be implemented in hardware.


  • 주제어

    립리딩 .   음성인식 .   블록매칭.  

  • 이 논문을 인용한 문헌 (1)

    1. Adeluyi, Olufemi ; Lee, Jeong-A 2010. "CHARMS: A Mapping Heuristic to Explore an Optimal Partitioning in HW/SW Co-Design" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, 15(9): 1~8     

 저자의 다른 논문

  • 이지근 (6)

    1. 2003 "블록매칭을 이용한 비디오 시퀀스의 이미지 모자익" 한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences 7 (8): 1792~1801    
    2. 2004 "PCA와 HMM을 이용한 실시간 립리딩 시스템의 설계 및 구현" 멀티미디어학회논문지 = Journal of Korea Multimedia Society 7 (11): 1597~1609    
    3. 2005 "얼굴과 음성 정보를 이용한 바이모달 사용자 인식 시스템 설계 및 구현" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 10 (5): 353~362    
    4. 2005 "SVM을 이용한 얼굴 검출 성능 향상에 대한 연구" 한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences 9 (2): 330~337    
    5. 2006 "헬스케어를 위한 영상기반 기절동작 인식시스템 개발" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 11 (6): 279~287    
    6. 2006 "스테레오 영상을 이용한 얼굴 포즈 추정" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 11 (3): 151~159    
  • 김명훈 (1)

  • 이상설 (14)

  • 정성태 (54)

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 이용한 콘텐츠
이 논문과 함께 출판된 논문 + 더보기