본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

학습된 지식의 분석을 통한 신경망 재구성 방법
Restructuring a Feed-forward Neural Network Using Hidden Knowledge Analysis

김현철   (고려대학교 사범대학 컴퓨터교육과UU0000159  );
  • 초록

    다층신경회로망 구조의 재구성은 회로망의 일반화 능력이나 효율성의 관점에서 중요한 문제로 연구되어왔다. 본 논문에서는 신경회로망에 학습된 은닉 지식들을 추출하여 조합함으로써 신경회로망의 구조를 재구성하는 새로운 방법을 제안한다. 먼저, 각 노드별로 학습된 대표적인 지역 규칙을 추출하여 각 노드의 불필요한 연결구조들을 제거한 후, 이들의 논리적인 조합을 통하여 중복 또는 상충되는 노드와 연결구조를 제거한다. 이렇게 학습된 지식을 분석하여 노드와 연결구조를 재구성한 신경회로망은 처음의 신경회로망에 비하여 월등히 감소된 구조 복잡도를 가지며 일반적으로 더 우수한 일반화 능력을 가지게 됨을 실험결과로서 제시하였다.


    It is known that restructuring feed-forward neural network affects generalization capability and efficiency of the network. In this paper, we introduce a new approach to restructure a neural network using abstraction of the hidden knowledge that the network has teamed. This method involves extracting local rules from non-input nodes and aggregation of the rules into global rule base. The extracted local rules are used for pruning unnecessary connections of local nodes and the aggregation eliminates any possible redundancies arid inconsistencies among local rule-based structures. Final network is generated by the global rule-based structure. Complexity of the final network is much reduced, compared to a fully-connected neural network and generalization capability is improved. Empirical results are also shown.


  • 주제어

    지식기반 신경망 .   규칙추출 .   신경망 정제.  

  • 참고문헌 (19)

    1. Towell, Geoffrey G. and Shavlik, Jude W., 'Extracting refined rules from knowledge-based neural networks,' Machine Learning, Vol. 13(1), 1993 
    2. Towell, Geoffrey G. and Shavlik, Jude W., 'Knowledge-Based Artificial Neural Networks,' Artificial Intelligence, Vol 70, pp.119-165, 1994 
    3. Fu, LiMin., 'Introduction to knowledge-based neural networks,' Knowledge-Based Systems, Vol. 8(6) pp.299-300, 1995 
    4. Towell, Geoffrey G., Shavlik, Jude W. and Noordewier, M.O., 'Refinement of Approximate Domain Theories by Knowledge-based Neural Networks.' Proceedings AAAI-.90, pp.861-866, 1990 
    5. Kim, Hyeoncheol., 'Neural Network Refinement using Hidden Knowledge Extraction,' Journal of KISS: Software and Applications, Vol.27 pp.1082-1087, 2000     
    6. Fu, LiMin., Neural Networks in Computer Intelligence, McGraw Hill, Inc., 1994 
    7. Andrews, Robert, Diederich, Joachim, Tickle, Alam B., 'Survey and critique of techniques for extracting rules from trained artificial neural networks,' Knowledge-Based Systems, Vol. 8(6) pp.373-389, 1995 
    8. Fu, LiMin., 'Knowledge-based connectionism for revising domain theories,' IEEE Transactions on Systems, Man, and Cybernetics, Vol 23(1) pp.173182, 1993 
    9. Fu, LiMin., 'Rule generation from neural networks,' IEEE Transactions on Systems, Man, and Cybernetics, Vol. 24(8) pp.1114-1124, 1994 
    10. Gallant, S.I., 'Connectionist expert systems,' Communications of the ACM, Vol. 31(2) pp.152-169, 1988 
    11. Kim, Hyeoncheol.. 'Computationally Efficient Heuristics for If-Then Rule Extraction from Feed-Forward Neural Networks,' Lecture Notes in Artificial Intelligence, Vol. 1967 pp.170-182, 2000 
    12. Setino, Rudy, Liu, Huan, 'Understanding neural networks via rule extraction,' Proceedings of the 14th International Conference on Neural Networks, pp.480-485, 1995 
    13. Taha, Ismali A. and Ghosh, Joydeep, 'Symbolic interpretation of artificial neural networks,' IEEE Transactions on Knowledge and Data Engineering, Vol. 11(3) pp.443-463, 1999 
    14. Mozer, M. and Smolensky, P., 'Skeletonization: A Technique for Trimming the Fat from a Network via Relevance Assessment,' Advances in Neural Information Processing System 1, (editor: Touretzky, D.S.), 1989 
    15. Krogh, A. and Hertz, J.A., 'A Simple Weight Decay Can Improve Generalization,' Advances in Neural Information Processing Systems, Vol.4 (1992) pp.950-957, 1992 
    16. Kruschke, J.K., and Movellan, J.R, 'Benefits of Gain: Speeded Learning and Minimal Hidden Layers In Backpropagation Networks,' IEEE Transactions on Systems, Man and Cybernetics, Vol.21(1,) 1991 
    17. Fu, LiMin and Kim, Hyeoncheol., 'Abstraction and Representation of Hidden Knowledge In an Adapted Neural Network,' unpublished, CISE, University of Florida, 1994 
    18. Kim, Hyeoncheol and Fu, LiMin., 'Generalization and Fault Tolerance In Rule-based Neural Network,' In Proceedings of IEEE International Conference on Neural Networks, Vol.5 pp.1550-1555, 1994 
    19. Opitz, D.W., and Shavlik, J.W., 'Using Genetic Search to Refine Knowledge-Based Neural Networks,' Machine Learning: Proceedings of the 11th International Conference, 1994 

 저자의 다른 논문

  • 김현철 (41)

    1. 2000 "은닉지식 추출을 이용한 신경망회로망 정제" 정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용 27 (11): 1082~1087    
    2. 2001 "컴퓨터교과에서의 효율적인 수행평가 적용 방안" 컴퓨터교육학회논문지 = The Journal of Korean association of computer education 4 (1): 35~42    
    3. 2002 "일반계 고등학교에서의 컴퓨터 교과 교육과정에 대한 현황과 개선 방향" 정보처리학회지 = Korea information processing society review 9 (5): 26~34    
    4. 2002 "SCORM 스펙을 이용한 학습관리 시스템 설계 및 구현" 한국멀티미디어학회지 6 (4): 23~32    
    5. 2002 "학습자간의 상호작용 강화를 위한 웹 기반 협동학습의 구현 및 적용" 컴퓨터교육학회논문지 = The Journal of Korean association of computer education 5 (4): 1~8    
    6. 2003 "정보ㆍ컴퓨터 소양교육의 현황과 개선 방향" 정보과학회지 = Communications of the Korean Institute of Information Scientists and Engineers 21 (9): 60~64    
    7. 2003 "LSI 유사도를 이용한 효율적인 빈발항목 탐색 알고리즘" 컴퓨터교육학회논문지 = The Journal of Korean association of computer education 6 (1): 1~8    
    8. 2003 "정보.컴퓨터 소양교육의 현황과 개선 방향" 정보처리학회지 = Korea information processing society review 10 (5): 60~64    
    9. 2004 "7차 교육과정에 따른 '정보사회와 컴퓨터' 교과의 평가도구 개발" 컴퓨터교육학회논문지 = The Journal of Korean association of computer education 7 (1): 15~25    
    10. 2006 "Wiki 기반 협력학습에서 적응적 내비게이션 시스템이 그룹 활동에 미치는 효과" 컴퓨터교육학회논문지 = The Journal of Korean association of computer education 9 (1): 41~48    

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 출판된 논문 + 더보기