본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

패턴분류에서 학습방법 개선
Improvement of learning method in pattern classification

김명찬    (삼성 데이터 시스템 (주)   ); 최종호    (서울대학교 전기공학부  );
  • 초록

    A new algorithm is proposed for training the multilayer perceptrion(MLP) in pattern classification problems to accelerate the learning speed. It is shown that the sigmoid activation function of the output node can have deterimental effect on the performance of learning. To overcome this detrimental effect and to use the information fully in supervised learning, an objective function for binary modes is proposed. This objective function is composed with two new output activation functions which are selectively used depending on desired values of training patterns. The effect of the objective function is analyzed and a training algorithm is proposed based on this. Its performance is tested in several examples. Simulation results show that the performance of the proposed method is better than that of the conventional error back propagation (EBP) method.


  • 주제어

    MLP .   backpropagation .   objective function .   sigmoid activation function .   learning speed.  

  • 참고문헌 (27)

    1. 신경회로망에서 일괄 학습 , 김명찬;최종호 , 전자공학회논문집 / v.32-B,pp.100-108,
         
    2. Square root learning in batch mode BP for classification problems , Myung-Chan Kim;Chong-Ho Choi , Proc. ICNN / v.,pp.2769-2774,
    3. 배치모드 학습시 다층인식자의 가중치 초기화 방법 , 김명찬;최종호 , 제 1회 항법유도제어 학술대회 / v.,pp.119-124,
    4. D. E. Rumelhart;J. L. McClelland , Parallel Distributed Processing / v.1,pp.,
    5. Parallelism, hierarchy, scaling in time-delay neural networks for spotting Japanese phonemes /CV-syllabes , H. Sawai;A. Waivel;P. affiner;M. Miyatake;K. Shikano , Proc. IJCNN / v.2,pp.81-89,
    6. A fast new algorithm for training feedforward neural networks , R. S. Scaleo;N. Tepedelenlioglu , IEEE Trans. Signal Processing / v.40,pp.202-210,
    7. Efficient classification for multiclass problems using modular neural networks , R. Anand;K. Mehrotra;C. K. Mohan;S. Ranka , IEEE Trans. Neural Networks / v.6,pp.117-124,
    8. 패턴 분류용 다층인식자의 오차 역전파 학습 알고리즘의 개선 , 김명찬 , 박사학위 논문, 서울대학교 / v.,pp.,
    9. 배치모드 학습시 다층인식자의 가중치 초기화 방법 , 김명찬;최종호 , 제 1회 항법유도제어 학술대회 / v.,pp.119-124,
    10. Improving the convergence of the back-propagation algorithm , A. Van Ooyen;B. Nienhuis , Neural Networks / v.5,pp.465-471,
    11. J. Hertz;A. Krogh;R. G. Palmer , Introduction to the theory of neural computation / v.,pp.,
    12. Improving the convergence of backpropagation learning with second order methods , S. Becker;Y. Le Cun , Proc. 1988 Connectionist Models, Summer School / v.,pp.29-37,
    13. An accelerated learning algorithm for multilayer perceptron: optimization layer by layer , S. Ergezinger;E. Thomsen , IEEE Trans. Neural Networks / v.6,pp.31-42,
    14. Learning to tell two spirals apart , K. Lang;M. Witbrok , Proc. 1988 Connectionist Models, Summer School / v.,pp.,
    15. Back-propagation heuristics: A study of the extended delta-bar-delta algorithm , A. A. Minai;R. D. Williams , Proc. IJCNN / v.1,pp.595-600,
    16. MEKA - A fast, local algorithm for training feedforward neural networks , S. Shah;F. Palmieri , Proc. IJCNN / v.3,pp.41-46,
    17. An introduction to computing with neural nets , R. P. Lippmann , IEEE ASSP Magazine / v.,pp.4-22,
    18. An accelerated learning algoirthm for multilayer perceptron networks , A. G. Parlos;B. Fernandez;A. F. Atiya;J. Muthusami;W. K. Tsai , IEEE Trans. Neural Networks / v.5,pp.493-497,
    19. The effect of the slope of the activation function on the back propagation algorithm , A. Rezgui;N. Tepedelenlioglu , Proc. IJCNN / v.I,pp.673-678,
    20. Lambda learning rule for feedforward neural networks , J. M. Zurada , Proc. IJCNN / v.,pp.1808-1811,
    21. A direct adaptive method for faster backpropagation learning the RPROP algorithm , M. Riedmiller;H. Braun , Proc. IJCNN / v.1,pp.586-591,
    22. Acceleration of backpropagation through learning rate and momentum adaptation , A. A. minai;R. D. Williams , Proc. IJCNN / v.1,pp.696-679,
    23. Square root scale and momentum control for BP learning in classification problems , Myung-Chan Kim;Chong-Ho Choi , Proc. ICONIP'94 / v.2,pp.761-766,
    24. Increased rates of convergence through learning rates adaptation , R. A. Jacobs , Neural Networks / v.1,pp.325-334,
    25. Back propagation fails to separate where perceptron succeed , M. L. Brady;R. Raghaven;J. Slawny , IEEE Trans. Circuit and System / v.30,pp.665-674,
    26. Learning algorithms for perceptrons using back-propagation with selective updates , S. Huang;Y. Huang , IEEE Control System Magazine / v.,pp.56-61,
    27. Accelerated learning in multilayer network , A. Atiya;A. Parlos;J. Muthusami;B. Fernandez;W. Tsai , Proc. IJCNN / v.3,pp.925-929,

 저자의 다른 논문

  • Choi, Jong-Ho (21)

    1. 1982 "분산 제어로 안정 가능한 대형 시스템에 대하여" 電子工學會誌 = Journal of the Korean Institute of Electronics Engineers 19 (4): 15~20    
    2. 1990 "신경회로망을 이용한 인쇄체 한글 문자의 인식" 전자공학회논문지 = Journal of the Korean Institute of Telematics and Electronics 27 (2): 65~72    
    3. 1992 "신경회로망을 이용한 정상상태에서의 자동차 엔진의 공연비제어" 大韓機械學會論文集 16 (11): 2119~2125    
    4. 1995 "신경회로망에서 일괄 학습" 電子工學會論文誌. Journal of the Korea institute of telematics and electronics. B b32 (3): 503~511    
    5. 1995 "국부 유사사상의 퍼지통합에 기반한 비선형사상의 식별" 電子工學會論文誌. Journal of the Korea institute of telematics and electronics. B b32 (5): 812~820    
    6. 1996 "입력의 크기를 고려한 비선형 시스템의 반복학습 제어" 제어·자동화·시스템공학 논문지 = Journal of control, automation and systems engineering 2 (3): 165~173    
    7. 1996 "다중 제어기 및 다중 루우프로 구성된 포화 제어 시스템의 정적 리셋 와인드엎 방지 방법" 제어·자동화·시스템공학 논문지 = Journal of control, automation and systems engineering 2 (4): 248~256    
    8. 1997 "주기 조정과 커널 자동 생성을 통한 다중 루프 시스템의 구현" 제어·자동화·시스템공학 논문지 = Journal of control, automation and systems engineering 3 (2): 187~196    
    9. 1997 "압전체를 사용한 외팔보 진동의 위상지연 제어" 제어·자동화·시스템공학 논문지 = Journal of control, automation and systems engineering 3 (4): 343~349    
    10. 1998 "다중 제어기 및 다중 루우프로 구성된 포화제어시스템의 동적 리셋 와인드엎 방지 방법과 모터제어에의 응용" 제어·자동화·시스템공학 논문지 = Journal of control, automation and systems engineering 4 (2): 141~150    

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 이용한 콘텐츠
이 논문과 함께 출판된 논문 + 더보기