본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

Hadoop 클러스터를 위한 모니터의 설계 및 구현
Design and Implementation of a Monitor for Hadoop Cluster

금태훈    (LG전자 MC 사업본부   ); 이원주    (인하공업전문대학 컴퓨터정보공학부 컴퓨터 정보과   ); 전창호    (한양대학교 ERICA 캠퍼스 컴퓨터공학과  );
  • 초록

    본 논문에서는 Hadoop 클러스터의 노드 정보와 작업 정보를 실시간으로 수집할 수 있는 새로운 모니터를 제안한다. 이 모니터는 Hadoop클러스터의 노드 정보와 작업 정보를 수집하는 Agent, 수집된 정보를 분석하고 데이터베이스에 저장하는 Collector로 구성된다. 또한 Collector를 Hadoop 클러스터에 참여하지 않은 새로운 노드에 위치시킴으로써 분석과정에서 발생하는 오버헤드로 인한 Hadoop의 작업지연을 제거한다. 제안한 모니터를 구현하고 실험적 클러스터에 적용함으로써, dead 노드의 발생을 실시간으로 파악할 수 있었다. 또한, Hadoop의 작업수행 과정에서 비효율적인 과정을 발견하고 개선함으로써 작업수행시간을 단축시킬 수 있었다.


    In this paper, we propose a new monitor for collecting job information from Hadoop clusters in real time. This monitor is made of two programs called Collector and Agent. Agent collects Hadoop cluster's node information and job information, and Collector analyzes the collected information and saves it in a database. Also, Collector was placed in a new node outside the Hadoop cluster so that it does not affect Hadoop's work and will not cause overload. When the proposed monitor was implemented and applied, the testbed cluster was able to detect the occurrence of dead nodes immediately. In addition, we were able to find Hadoop jobs which were inefficient and when we modified such jobs to further enhance the performance of Hadoop.


  • 주제어

    클라우드 컴퓨팅 .   클러스터 모니터링.  

  • 참고문헌 (8)

    1. Tae Hoon Keum, Won Joo Lee, Chang Ho Jeon, "A Performance Analysis Based on Hadoop Application's Characteristics in Cloud Computing," Journal of The Korea Society of Computer and Information, Vol. 15, No. 5, pp. 49-56, May 2010.     
    2. A. Kimball, S. Michels-Slettvet and C.Biscigilia, "Cluster Computing for Web-Scale Data Processing," Proceeding of the 39th SIGCSE technical symposium on Computer science education, Portland, Oregon, pp. 116-120, March 2008. 
    3. Hadoop, http://hadoop.apache.org 
    4. D. Nurmi, R. Wolski, C. Grzegorczyk, G. Obertelli, S. Soman, L. Youseff, and D. Zagorodnov, "The Eucalyptus open-source cloud-computing system," Proceedings of the 2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid table of contents, pp. 124-131, 2009. 
    5. Amazon Elastic Compute Cloud, http://aws.amazon.com/ec2 
    6. J. Boulon, A. Konwinski, R. Qi, A. Rabkin, E. Yang and M. Yang, "Chukwa: A large-scale monitoring system," Proceeding of international conference on Cloud Computing and Its Applications, pp. 1-5, Oct. 2008. 
    7. J. Tan, X. Pan, S. Kavulya, R. Gandhi and P. Narasimhan, "Mochi: Visualizing Log-Anlaysis Based Tools for Debugging Hadoop," In USENIX Workshop on Hot Topics in Cloud Computing(HotCloud), SanDiego, CA, Jun. 2009. 
    8. S. Ghemawat, H. Gobioff, S.T. Leung, "The Google file system," ACM SIGOPS Operating Systems Review, Vol. 37, No. 5, pp. 29-43, Dec. 2003. 
  • 이 논문을 인용한 문헌 (2)

    1. Lee, Won-Joo ; Lim, Heon-Yong 2014. "Real-time Video Playback Method for N-Screen Service Based on Windows Azure" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, 19(6): 1~10     
    2. Kim, Jun-Sang ; Kim, Chang-Hyeon ; Lee, Won-Joo ; Jeon, Chang-Ho 2014. "A Block Relocation Algorithm for Reducing Network Consumption in Hadoop Cluster" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, 19(11): 9~15     

 저자의 다른 논문

  • 이원주 (44)

    1. 2008 "계산 그리드를 위한 효율적인 작업 스케줄링 정책" 정보과학회논문지. Journal of KIISE. 컴퓨팅의 실제 및 레터 14 (8): 753~757    
    2. 2008 "데이터 그리드를 위한 효율적인 Peer-to-Peer 기반 복제 정책" 電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. CI, 컴퓨터 45 (2): 10~17    
    3. 2008 "인터넷 구조 기반의 동적 데이터 그리드 복제 정책" 電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. CI, 컴퓨터 45 (3): 1~6    
    4. 2008 "다중 그리드 사이트에서 어플리케이션 특성을 고려한 동적 작업 재배치 정책" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 13 (4): 31~37    
    5. 2008 "고성능 컴퓨팅 시스템을 위한 효율적인 동적 작업부하 균등화 정책" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 13 (5): 45~52    
    6. 2009 "무선 센서 네트워크에서 데이타 병합을 위한 다중 경로 라우팅 기법" 정보과학회논문지. Journal of KIISE. 컴퓨팅의 실제 및 레터 15 (3): 206~210    
    7. 2009 "양방향 데이터 방송 미들웨어를 위한 검증 및 정합 애플리케이션 개발" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 14 (5): 55~64    
    8. 2009 "무선 센서 네트워크에서 노드 밀도를 고려한 효율적인 클러스터링 기법" 電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. CI, 컴퓨터 46 (4): 79~86    
    9. 2010 "실버 사회를 위한 스마트 케어 기술 동향" 韓國컴퓨터情報學會誌 = KSCI review 18 (2): 43~52    
    10. 2010 "클라우드 컴퓨팅에서 Hadoop 애플리케이션 특성에 따른 성능 분석" 韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information 15 (5): 49~56    
  • 전창호 (36)

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 이용한 콘텐츠
이 논문과 함께 출판된 논문 + 더보기