Bash 파일이 있는지 체크

if [ ! -f /path/to/file ]
then
    echo "File does not 

Jenkins java.io.NotserializableException: groovy.lang.IntRange

참조

문제의 시작

젠킨스는 확장성 있는 코드를 위해, Serializable 가능한 객체만 쓰도록 … 더보기

EC2 ssh key 변경하기(ssh key 분실 대응)

참조

아래 문서는 ssh key 를 분실하고,
또 … 더보기

실시간 웹로그 수집의 또 다른 방법

많은 사람들이 Kafka + Spark Stream + Hadoop 클러스터를 … 더보기

vi replace

vi 에서 파일내 문자열을 치환하는 기능을 설명합니다.

기본 명령어

기본 문법은 아래와 같습니다.… 더보기

Spark Streaming 개발환경 구축하기

Spark Streaming 개발에 필요한 최소 설정으로 개발환경을 구축합니다.
하나의 서버에 모든 … 더보기

Spark Cluster 종류

Local Mode

테스트용으로 쓰인다.
하나의 JVM 에 driver 1개와 executor 1개씩만 생성한다.… 더보기

Hadoop Cluster 구성하기(with Spark)

참조 : AWS EC2 를 이용해 구성

참조 : 가상머신을 이용해 … 더보기

Spark Streaming

참조

Kafka 와 Hadoop 을 연결시켜줄 때 많이 사용한다.

원리는 그냥 특정 시간 … 더보기