MASTER
-
Dynamically Loading Spark Properties(--master)Big Data 2022. 3. 6. 23:14
intellij에서 spark application을 실행할 때, cluster master url을 VM Option "-Dspark.master=local"로 세팅하고, application 내에서는 cluster master url이 dynamically loading 되게끔 코딩한다. 좀 더 상세히 설명하면.. spark application을 제출(spark-sumit) 할 때, 해당 job이 수행되는 클러스터의 master url을 지정해준다. $spark-submit --class [class_name] --master [local, spark, mesos, yarn, k8s] ... 상세 참고 : https://spark.apache.org/docs/latest/submitting-appl..