본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

HBIC와 BIC_Anti 기준을 이용한 HMM 구조의 최적화
HMM Topology Optimization using HBIC and BIC_Anti Criteria

박미나   (강원대학교 컴퓨터정보통신공학과UU0000037  ); 하진영   (강원대학교 전기전자정보통신공학부UU0000037  );
  • 초록

    본 논문에서는 연속 밀도 HMM 구조의 최적화 문제를 다룬다. HMM 구조의 최적화를 위해 여러 연구가 있었는데, 그 중에서도 잘 알려진 BIC(Bayesian Information Citerion)등과 같이 이미 제안된 모델 선택 기준은 동질의 파라미터를 갖는 데이타에 대해 통계적으로 잘 행동하는 모델을 가정하고 있어서 연속 밀도 HMM 등과 같이 복잡한 파라미터를 갖는 구조에는 적합하지 않고, 파라미터 수를 줄이는데는 어느 정도 효과가 있었으나 인식률 향상에 있어서는 한계를 보였다. 이에 본 논문에서는 HMM의 파라미터 유형에 따라 별도의 확률 밀도를 추정하여 사전 모델 확률(a priori model probability)로 사용하는 모델 선택 기준인 HBIC(HMM-oriented BIC)를 제안했다. 또한 HMM의 변별력을 높이기 위해 변별력 특성을 갖는 안티확률을 BIC와 결합한 새로운 모델 선택 기준인 BIC_Anti를 제안했다. 제안한 모델 선택 기준의 유용성을 검증하기 위해 온라인 필기 데이타를 대상으로 실험하여 기존의 연구와 비교하였다. 그 결과 제안한 HBIC와 BIC_Anti 모델 선택 기준을 사용하는 것이 BIC를 사용하는 것보다 더 적은 파라미터 수로도 향상된 인식률을 얻을 수 있음을 확인했다.


    This paper concerns continuous density HMM topology optimization. There have been several researches for HMM topology optimization. BIC (Bayesian Information Criterion) is one of the well known optimization criteria, which assumes statistically well behaved homogeneous model parameters. HMMs, however, are composed of several different kind of parameters to accommodate complex topology, thus BIC's assumption does not hold true for HMMs. Even though BIC reduced the total number of parameters of HMMs, it could not improve the recognition rates. In this paper, we proposed two new model selection criteria, HBIC (HMM-oriented BIC) and BIC_Anti. The former is proposed to improve BIC by estimating model priors separately. The latter is to combine BIC and anti-likelihood to accelerate discrimination power of HMMs. We performed some comparative research on couple of model selection criteria for online handwriting data recognition. We got better recognition results with fewer number of parameters.


  • 주제어

    은닉마르코프모델 .   안티확률 .   구조최적화.  

  • 참고문헌 (18)

    1. M.A. Stephens, 'EDF statistics for goodness of fit and some comparisons,' Journal of the American Statistical Association, vol. 69, pp.730-737, 1974 
    2. J. Olivier and Baxter, R, 'MML and Bayesianism Similarities and differences(Introduction to minimum encoding inference - Part II', Technical Report 206, Monash University, Australia, 1994 
    3. A. Baron, J. Rissanen, and B. Yu, 'The minimum description length principle in coding and modeling,' IEEE Trans. Inform. Theory, vol. 44, pp. 2743-2760, 1998 
    4. E. Kass and A. Rftery, 'Bayes factors' Technical Report 254, University of washingtion, Department of Statistics, 1994 
    5. A. Biem, J.-Y. Ha and J. Subrahmonia, 'A Bayesian Model Selection Criterion for HMM Topology Optimization,' ICASSP 2002, Orlando, Florida, U.S.A., pp. I-989 - I-992. May, 2002 
    6. Jin Young Ha, Alain Biem and Jayasheree Subrahmonia 'Use of Model Prior for HMM Topology Optimization,' The 4th Korea-CHina Joint Symposium on Information Technology for Oriental Language Processing and Pattern Recognition, Nov. 16-17, 2001 
    7. Schwarz, 'Estimating the dimension of a model,' Ann, Statist., Vol. 6, No. 2, pp.461-464, 1978 
    8. MacKay, 'Bayesian interpolation,' Neural computation, Vol. 4, No. 3, pp. 415-447, 1992 
    9. Steve Young, Dan Kershaw, Julian Odell, Dave Ollason, Valtcho Valthchev, Phil Woodland, The HTK Book(for HTK version 3.0), Microsoft corporation, 1999 
    10. S. Chen and P. S. Gopalakrishnan, 'Clustering via the Bayesian Information citerion with applications in speech recognition,' ICASSP, 2:645-649, 1998 
    11. Raymond C.Vasko, Jr., Amro EL-Jaroudi J.Robert, Boston 'An Algorithm To determine hidden Markov Model Topology,' IEEE, 3577-3579, 1996 
    12. Raymond C.Vasko, Jr., Amro EL-Jaroudi J.Robert, 'Application of Hidden Markov Model Topology Estemation To Repetitive Lifting Data,' IEEE, pp. 4073-4076, 1997 
    13. H. Singer and M. ostendori, 'Maximum likelihood successive state splitting,' ICASSP, pp.601-604, 1996 
    14. Andress Stolcke and stephen Omohundro, 'Hidden Markov Model induction by Bayesian model merging,' in Advances in NIPS, Vol. 5, pp.11-18, 1993 
    15. 하태영, 신봉기, '온라인 한글 인식을 위한 HMM 상태 수의 최적화', 한국정보과학회 추계 학술발표논문집, pp. 372-374, 1998     
    16. DLi, A. Biem and J. Subrahmonia, 'HMM Topology Optimization for Handwriting Recognition,' ICASSP 2001 
    17. 박미나, 하진영, 'HMM 모델링을 위한 HMM의 State수와 Mixture 수 분석', 한국정보과학회 춘계 학술발표논문집, 제29권 제1호, pp.658-660, 2002년 4월 
    18. 하진영, A. Biem, J. Subrahmonia, 박미나, '모델의 사전 확률 추정을 통한 HMM 구조의 최적화', 한국정보과학회 추계 학술발표논문집, 제28권 제2호, pp. 325-327, 2001년 10월 
  • 이 논문을 인용한 문헌 (1)

    1. 2003. "HMM Topology Optimization using HBIC and BIC_Anti Criteria" 정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, 30(9): 867~875     

 저자의 다른 논문

  • 박미나 (2)

    1. 2007 "온라인 필기 숫자 인식을 위한 혼동 모델 선택 기준" 정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용 34 (11): 1001~1010    
    2. 2008 "모델 축소를 위한 그룹 모델 클러스터링 방법에 대한 연구" 産業技術硏究 : 江原大學校 産業技術硏究所 = Journal of industrial technology 28 (1): 185~189    
  • 하진영 (8)

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 출판된 논문 + 더보기