본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용 v.33 no.12, 2006년, pp.999 - 1007  
본 등재정보는 저널의 등재정보를 참고하여 보여주는 베타서비스로 정확한 논문의 등재여부는 등재기관에 확인하시기 바랍니다.

은닉노드 목표 값을 가진 2개 층 신경망의 분리학습 알고리즘
A Separate Learning Algorithm of Two-Layered Networks with Target Values of Hidden Nodes

최범기   (인하대학교 컴퓨터정보공학과UU0001092  ); 이주홍   (인하대학교 컴퓨터정보공학과UU0001092  ); 박태수   (인하대학교 컴퓨터정보공학과UU0001092  );
  • 초록

    역전파 학습 방법은 속도가 느리고, 지역 최소점이나 고원에 빠져 수렴에 실패하는 경우가 많다고 알려져 있다. 이제까지 알려진 역전파의 대체 방법들은 수렴 속도와 변수에 따른 수렴의 안정성 사이에서 불균형이라는 대가를 치루고 있다. 기존의 전통적인 역전파에서 발생하는 위와 같은 문제점 중, 특히 지역 최소점을 탈피하는 기능을 추가하여 적은 저장 공간으로 안정성이 보장되면서도 빠른 수렴속도를 유지하는 알고리즘을 제안한다. 이 방법은 전체 신경망을 은닉층-출력층(hidden to output)을 의미하는 상위 연결(upper connections)과 입력층-은닉층(input to hidden)을 의미하는 하위 연결(lower connections) 2개로 분리하여 번갈아 훈련을 시키는 분리 학습방법을 적용한다. 본 논문에서 제안하는 알고리즘은 다양한 classification 문제에 적용한 실험 결과에서 보듯이 전통적인 역전파 및 기타 개선된 알고리즘에 비해 계산량이 적고, 성능이 매우 좋으며 높은 신뢰성을 보장한다.


    The Backpropagation learning algorithm is known to have slow and false convergence aroused from plateau and local minima. Many substitutes for backpropagation announced so far appear to pay some trade-off for convergence speed and stability of convergence according to parameters. Here, a new algorithm is proposed, which avoids some of those problems associated with the conventional backpropagation problems, especially with local minima, and gives relatively stable and fast convergence with low storage requirement. This is the separate learning algorithm in which the upper connections, hidden-to-output, and the lower connections, input-to-hidden, separately trained. This algorithm requires less computational work than the conventional backpropagation and other improved algorithms. It is shown in various classification problems to be relatively reliable on the overall performance.


  • 주제어

    역전파 .   분리학습 .   은닉노드 .   지역 최소점.  

  • 참고문헌 (20)

    1. McCulloch, W.S., Pitts, W., 'A logical Calculus of Ideas Immanent in Nervous Activity,' Bulletin of Mathematical Biophsics 5, 115-133, 1962 
    2. Rosenblatt, F., 'Principle of Neurodynarnics,' New York: Spartan, 1962 
    3. Minsky, M.L and Papert, S.A., 'Perceptrons,' Cambridge: MIT Press, 1969 
    4. Rumelhart, D.E., G.E. Hinton, and Williams, R.J., 'Learning Internal Representations by Error propagation,' In Parallel Distributed Processing, vol. 1, chap8, 1986 
    5. Parker, D.B., 'Learning Logic,' Technical Report TR-47, Center for Computational Research in Economics and Management Science, Massachusetts Institute of Technology, Cambridge, MA, 1985 
    6. Kolen, J. F. and Pollack, J. B., 'Back Propagation is Sensitive to Initial Conditions,' Complex System 4, 269-280, 1990 
    7. Jacobs, R. A., 'Increased Rates of Convergence Through Learning Rate Adaptation,' Neural Networks 1, 293-280, 1988 
    8. Vogl, T. P., J.X. Magis, A.K. Rigler, W.T. Zink, and D.L. Alkon., 'Accelerating the Convergence of the Back-Propagation Method,' Biological Cybernetics 59, 257-263, 1988 
    9. Allred, L. G., Kelly, G. E., 'Supervised learning techniques for backpropagation networks,' In Proc. of IJCNN, vol. 1, 702-709, 1990 
    10. Fahlman, S. E., 'Fast learning variations on backpropagation: An empirical study,' in Proc. Connectionist Models Summer School, 1989 
    11. Riedmiller, M. and Braun, H., 'A direct adaptive method for faster backpropagation learning: The RPROP algorithm,' in Pro. Int. Conf, Neural Networks, vol. 1, 586-591, 1993 
    12. Montana D. J., Davis L., 'Training feedforward neural networks using genetic algorithms,' in Proc. Int. Joint Conf. Artificial Intelligence, Detroit, 762-767, 1989 
    13. Nicholas K. Treadgold and Tamas D. Gedeon., 'Simulaed Annealing and Weight Decay in Adaptive Learning: The SARPRO Algorithm,' IEEE Trans. On Neural Networks, vol. 9, pp. 662-668, 1998 
    14. S. C. Ng and S. H. Leung, 'On Solving the Local Minima Probem of Adaptive Learning by Detrministic Weight Evolutionary Algorithm,' Proc. of Comgress in Evolutionary Computation(CEC2001), Seoul, Korea, May 27-20, 2001, vol. 1, 251-255, 2001 
    15. Watrous, R. L., 'Learning algorithms for connectionist network: applied gradient methods 
    16. Touretzky, D. S., 'San Mateo,' Morgan Kaufmann, 1989 
    17. Grossman, T., 'The CHAIR Algorithm for Feed Forward Networks with Binary Weights,' In Advances Neural Information Processing Systems II, 1989 
    18. Krogh, A., G.I. Thorbergerson, and J.A. Hertz., 'A Cost Function for Internal Representations,' In Advances in Neural Information Processing Systems II, 1989 
    19. Saad, D. and E. Marom., 'Learning by Choice of Internal Representations-An Energy Minimization Approach,' Complex Systems 4, 107-118, 1990 
    20. Saad, D. and E. Marom., 'Training Feedforward Nets with Binary Weighted via a Modified CHIR Algorithm,' ComplexSystems 4, 573-586, 1990 of nonlinear optimization,' in Proc. 1st. Int . Conf, Neural Networks, vol. II, 619-628, 1987 

 저자의 다른 논문

  • Choi, Bum-Ghi (6)

    1. 2005 "데이터 스트림에서 데이터 마이닝 기법 기반의 시간을 고려한 상대적인 빈발항목 탐색" 정보교육학회논문지 = Journal of the Korean Association of Information Education 9 (3): 453~462    
    2. 2006 "동적분류에 의한 주제별 웹 검색엔진의 설계 및 구현" 인터넷정보학회논문지 = Journal of Korean Society for Internet Information 7 (2): 71~80    
    3. 2006 "웹 검색 환경에서 범주의 동적인 분류" 정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용 33 (7): 646~654    
    4. 2007 "Support Vector Machine Learning for Region-Based Image Retrieval with Relevance Feedback" ETRI journal 29 (5): 700~702    
    5. 2010 "지식 검색 시스템에 적용 가능한 추천 질의 시스템" 정보교육학회논문지 = Journal of the Korean Association of Information Education 14 (3): 405~416    
    6. 2011 "질의 응답 시스템에서 지식 설명의 의미적 포함 관계를 고려한 의미적 퍼지 함의 연산자" 한국콘텐츠학회논문지 = The Journal of the Korea Contents Association 11 (3): 73~83    
  • 이주홍 (25)

  • 박태수 (3)

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 출판된 논문 + 더보기