EC2 ssh key 변경하기(ssh key 분실 대응)

참조

아래 문서는 ssh key 를 분실하고,
또 … 더보기

실시간 웹로그 수집의 또 다른 방법

많은 사람들이 Kafka + Spark Stream + Hadoop 클러스터를 … 더보기

vi replace

vi 에서 파일내 문자열을 치환하는 기능을 설명합니다.

기본 명령어

기본 문법은 아래와 같습니다.… 더보기

Spark Streaming 개발환경 구축하기

Spark Streaming 개발에 필요한 최소 설정으로 개발환경을 구축합니다.
하나의 서버에 모든 … 더보기

Spark Cluster 종류

Local Mode

테스트용으로 쓰인다.
하나의 JVM 에 driver 1개와 executor 1개씩만 생성한다.… 더보기

Hadoop Cluster 구성하기(with Spark)

참조 : AWS EC2 를 이용해 구성

참조 : 가상머신을 이용해 … 더보기

Spark Streaming

참조

Kafka 와 Hadoop 을 연결시켜줄 때 많이 사용한다.

원리는 그냥 특정 시간 … 더보기

docker 멈춰있는 모든 프로세스 삭제하기

docker 1.13.x 이후 버전에서는 아래 명령으로 멈춰있는 모든 프로세스를 제거할 … 더보기