IntelliJ 에서 원격서버 Spark Submit 하기

참조

플러그인 설치

Scala, Big Data Tools 을 설치한다.

Artifact 설정하기

1. 메뉴 > 파일 > Project Structure 에서 Artifacts 선택

2. 추가(플러스 버튼) 클릭 후, JAR 선택 후 From modules with dependencies 선택

3. 모듈 선택 후, 메인 클래스 오른쪽 끝에 폴더 버튼 클릭해서 메인 클래스를 선택

Jar 생성하기

메뉴 > Build > Build Artifacts 를 선택하면 jar 가 생성된다.

Spark Submit

1. 설정 추가 또는 수정을 선택

2. 추가(플러스 버튼) 클릭 후, Spark Submit > SSH 선택

아래 내용을 적절히 수정해서 아래 이미지에 표시한 폴더 버튼 클릭 후 입력해 주면 자동으로 채워준다.

/home/spark/spark-3.2.1-bin-hadoop3.2/bin/spark-submit --master local --deploy-mode client --class Main --name Remote file://$HOME/SparkStreamTest.jar

실행하기

위 설정을 끝내고, 프로젝트를 실행해 보면 자동으로 서버에 jar 파일을 전송하고,
서버에서 jar 가 실행되는 것을 확인할 수 있다.

버그인가???

JAVA_HOME 변수는 무시하므로 디폴트 자바 버전이 JDK 8 이어야 한다.

/usr/bin/java -version

interactive 를 체크해야 정상작동한다.