Chpater 3. 하둡 클러스터 생성 및 환경 설정

1. 하둡 설치 타입

• 독립형(Standalone)
  • 로컬 파일 시스템에 데이터를 저장
  • 단일 맵퍼와 단일 리듀서를 이용
  • 자신의 코드를 실행하는 개발자에게 적합
• 가상 분산형
  • 실제 멀티노드(분산) 클러스터처럼 모든 서비스를 설정할 수 있음
  • 모든 데몬(데이터 노드, 네임 노드, 리소스 매니저 프로세스)는 단일 노드에서 동작
  • 실제 운영 환경에서 사용 x
• 완전 분산형
  • 여러 서버에 걸쳐 하둡을 설치
  • 데이터 복제, 고가용성 설정 가능
  • 다중 서버를 통해 각 프로세스들을 위한 데몬 운영

2. 운영 시스템의 유용한 유틸리티

• yum
  • Red Hat Enterprise Linux RPM SW 패키지를 가져와 설정, 삭제, 검색, 관리할 수 있게 해주는 툴
  • 우문투 리눅스에서는 apt-get
• rpm
  • Red Hat, SUSE, Fedora 리눅스 시스템의 패키지를 관리, 빌드, 설치, 검색, 확인, 업데이트 및 제거
  • 패키지: 이름, 버전과 같은 파일과 패키지 정보 소유
• scp
  • FTP 절이나 원거리 시스템에 접속하지 않고도 호스트들 사이에서 안전하게 파일과 디렉토리들을 복사할 수 있는 명령어
  • SSH 사용하기 때문에 인증 패스워드 필요
• curl
  • URL을 이용해 파일을 보내거나 받을 수 있는 유틸리티
• wget
  • HTTP나 FTP 프로토콜을 사용해 파일을 가져오는 네트워크 유틸리티
• pdsh
  • 병렬화된 원격 쉘
  • 명령을 원격으로 실행

3. 하둡 클러스터 환경

• 리눅스 커널 매개변수 값을 조정해 클러스터의 성능을 높일 수 있