⭐ Plogramming/BigData

분산 클러스터를 위한 하둡 시스템

김진한
  • 클러스터를 위한 주요 서비스
    • 리소스 매니저
      • 리소스를 많이 사용하는 서비스
      • 매우 작은 클러스터가 아닐면 전용 노드에서 리소스 매니저 서비스를 실행
    • 네임노드 서비스
      • 네임노드 전용 노드에서 실행
      • 전용서버가 필수
    • 저널 노드
      • 네임노드나 리소스매니저와 같은 하둡 마스터 서비스가 실행되는 서버에서 실행
    • 잡히스토리서버
      • 마스터 노드가 실행되는 노드에서 실행
    • 데이터노드와 노드매니저 서비스
      • 모든 데이터노드에서 실행
      • 주키퍼 서비스를 같은 노드에 위치시킬 때, 노드매니저에 할당하는 메모리를 최소화시켜야 함
      • 데이터노드 데몬은 모든 데이터 노드마다 실행
    • MySQL DB
      • 리소스를 많이 사용해 클러스터 노드 이외 곳에 설치하는 것도 고려 
    • 주키퍼
      • 네임노드의 고가용성을 위해 최소 3개의 인스턴스에 홀수 개의 주키퍼 서비스를 실행해야 함
      • 마스터 노드와 같은 노드에서 실행 가능