spark/scala - "illegal cyclic reference involving class"

spark application build 중에 "illegal cyclic reference involving class WrappedString" error가 떨어졌다. 

 

개발환경은 아래와 같다. 

• m1 pro mac/monterey 12.2.1
• intellij CE(2021.3.2)
• maven
• apache-spark: stable 3.2.1 (required: openjdk@11), brew install로 설치 
• scala : stable 2.13.8 (required: openjdk(현재 openjdk 17), brew install로 설치
• jdk : openjdk 11.0.12

 

관련 jira와 글들이 조금 보이긴 한다. 다양한 이유가 있겠지만, 나의 경우는 scala version을 재설정하여 해결했다.

 

local에 설치된 scala 버전이 2.13.8 이라, scala sdk과 pom.xml을 이 버전으로 잡아뒀다. 

Global Libraries - Project Structure

maven - pom.xml

하지만, spark 3.2.1은 scala 2.12.15를 사용한다.. 

spark-shell

 

pom.xml과 scala sdk 버전을 2.12.15로 수정하였더니, error 없이 build 된다.