본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용   v.39 no.8, 2012년, pp.605 - 612   KCI 피인용횟수: 1
본 등재정보는 저널의 등재정보를 참고하여 보여주는 베타서비스로 정확한 논문의 등재여부는 등재기관에 확인하시기 바랍니다.

K-means 클러스터링을 이용한 압축 기반 이상탐지
Compression-based Anomaly Detection using K-means Clustering

안종하   (이스트소프트 서비스인프라개발팀  ); 김대원   (중앙대학교 컴퓨터공학과  );
  • 초록

    본 연구는 대규모 로그데이터의 보관문제와 이상 탐지를 병행적으로 해결하기 위한 압축 기반 클러스터링 기법을 제안한다. 이상 탐지를 위해 K-means 클러스터링 알고리즘을 활용하였으며, 대규모 로그 데이터의 처리를 위해 개선된 Logpack 압축 알고리즘에 기반한 거리 척도를 사용하였다. 추가적으로, 유전 알고리즘을 이용하여 데이터의 이상 특징을 나타내는 필드를 탐사하였고, 제안한 방법에 기초한 실험 결과가 기존 연구보다 우수한 결과를 도출함을 확인하였다.


    This study presents a new method for storing large log data, and simultaneously, detecting anomaly data. To achieve this, the well-known K-means clustering algorithm is used for the anomaly detection. In K-means algorithm, the dissimilarity between data is calculated on the space transformed by the Logpack compression algorithm. We also performed a feature selection using genetic algorithms to obtain an informative subset of features relevant to anomaly events. Through various tests, it is observed that the proposed method is superior to conventional algorithms.


  • 주제어

    이상 탐지  . 로그 압축  . K-means 클러스터링  . 유전 알고리즘  . Anomaly Detection  . Log Compression  . K-means Clustering  . Genetic Algorithm  .

  • 참고문헌 (16)

    1. Carl Endorf, Eugene Schultz, and Jim Mellander, Intrusion Detection & Prevention : McGraw-Hill Professional, 2003. 
    2. Okazaki Yoshinori, Sato Izuru, and Goto Shigeki, "A New Intrusion Detection Method based on Process Profiling," in 2002 Symposium on Applications and the Internet, 2002. 
    3. J. B. MacQueen, Some metnods for classification and analysis of multivariate observations, in Proc. 5th Berkeley Symp. Mathematical Statistics and Probability, pp.281-297, 1967. 
    4. Xindong Wu et al., "Top 10 algorithms in data mining," in Knowledge and Information Systems, vol.14, 2008. 
    5. Varun Chandola, Arindam Banerjee, and Vipin Kumar, "Anomaly Detection : A Survey," in ACM Computing surveys, vol.41 Issue.3, Jul. 2009. 
    6. R. Smith, A. Bivens, M. Embrechts, C. Palagiri, and B. Szymanski, "Clustering approaches for anomaly based intrusion detection. In Proceedings of Intelligent Engineering Systems through Artificial Neural Networks," pp.579-584, 2002. 
    7. Daniel Barbara et al., "Bootstrapping a data mining intrusion detection system," in proceedings of the 2003 ACM symposium on Applied computing, New York, NY, USA, 2003. 
    8. Zengyou He, Shengchun Deng, and Xiaofei Xu, "Outlier Detection Integrating Semantic Knowledge," in Proceedings of the Third International Conference on Advances in Web-Age Information Management, London, UK, UK, 2002. 
    9. Leonid Portnoy, Eleazar Eskin, and Sal Stolfo, "Intrusion Detection with Unlabeled Data Using Clustering," in Columbia University, 2001. 
    10. Amitabh Chaudhary, Alexander S. Szalay, and Andrew W. Moore, "Very Fast Outlier Detection in Large Multidimensional Data Sets," 2002. 
    11. Huanliang Sun, Yubin Bao, Faxin Zhao, Ge Yu, and Daling Wang, "CD-Trees: An Efficient Index Structure for Outlier Detection," in Advances in Web-Age Information Management, pp.600-609, 2004. 
    12. John Jenry Holland, Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence : The MIT press, 1992. 
    13. Przemyslaw Skibinski and Jakub Swacha, "Fast and efficient log file compression," in CEUR Workshop Proceedings of 11th East-European Conference on Advances in Databases and Information Systems (ADBIS 2007), Varna, Bulgaria, Sep. 29 - Oct. 3, 2007. 
    14. ACM KDD CUP. [Online]. http://www.kdd.org/kddcup/ 
    15. (1998, Feb.) MIT Lincoln Laboratory. [Online]. http://www.ll.mit.edu 
    16. Elkan C, "Results of the KDD'99 classifier learning," ACM SIGKDD Explorations Newsletter, vol.1, pp.63-64, 2000. 
  • 이 논문을 인용한 문헌 (1)

    1. Choi, Bomin ; Kong, Jong-Hwan ; Han, Myung-Mook 2013. "The Model of Network Packet Analysis based on Big Data" 한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, 23(5): 392~399     

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 출판된 논문 + 더보기