Spark Cluster 종류

Local Mode

테스트용으로 쓰인다.
하나의 JVM 에 driver 1개와 executor 1개씩만 생성한다.
executor는 스레드를 여러개 생성할 수 있다.

Local Cluster Mode

master 와 worker 프로세스가 있다.
worker 는 각각의 JVM 에서 실행된다.

Spark Standalone Cluster Mode

master 와 worker 프로세스가 있다.
master 프로세스가 클러스터 매니저 역할을 한다.

Spark Yarn Cluster Mode

Yarn 이 클러스터 매니저 역할을 한다.
Hadoop Cluster 에 같이 설치해 준다.

Spark Mesos Cluster Mode

Mesos 가 클러스터 매니저 역할을 한다.