Spark Streaming 개발환경 구축하기

Spark Streaming 개발에 필요한 최소 설정으로 개발환경을 구축합니다.
하나의 서버에 모든 … 더보기

Spark Cluster 종류

Local Mode

테스트용으로 쓰인다.
하나의 JVM 에 driver 1개와 executor 1개씩만 생성한다.… 더보기

Hadoop Cluster 구성하기(with Spark)

참조 : AWS EC2 를 이용해 구성

참조 : 가상머신을 이용해 … 더보기

Spark Streaming

참조

Kafka 와 Hadoop 을 연결시켜줄 때 많이 사용한다.

원리는 그냥 특정 시간 … 더보기