pyspark 실행 오류 (hostname 문제)

* 개인 히스토리 관리용으로 두서없이 편하게 작성함 

---

 

맥북 AS이후 잘 사용하던 개발환경이 깨진것같다. 

 

spark 세션 생성하는과정에서 에러 발생 

 * jupyter와, cli에서 pysprk session생성이 전부 안됨.
 * 설정이 잘못 된게있나 순간 의심했으나, 잘 쓰던 환경이였고, AS이후 크게 설정을 변경한게없는상황이였음. 

 

에러 코드를 확인중 못보던 URL로 접근하는것을 확인하였고, 개인 Local Hostname이 변경되어있는걸 확인하였음. 

 * AS 도중에 호스트네임을 바꿔서 무언가 작업을 한것같은데.. 개인 PC가 아닌 실 개발환경에서 바꼈더라면.. 아찔할것같다 

  -spark://HeartbeatReceiver@singo_pc.localdomain:51500​

 

 

해결 방법 : mac hostname을 다시 변경해주고 실행하니 정상 동작 

sudo scutil --set HostName jinsu-MacBook-Pro

 

* 참고

https://stackoverflow.com/questions/49143271/invalid-spark-url-in-local-spark-session

 

 

에러 메시지 

 

 * 에러메시지 

 

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@singo_pc.localdomain:51500
	at org.apache.spark.rpc.RpcEndpointAddress$.apply(RpcEndpointAddress.scala:66)
	at org.apache.spark.rpc.netty.NettyRpcEnv.asyncSetupEndpointRefByURI(NettyRpcEnv.scala:140)
	at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:101)
	at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:109)
	at org.apache.spark.util.RpcUtils$.makeDriverRef(RpcUtils.scala:36)
	at org.apache.spark.executor.Executor.<init>(Executor.scala:218)
	at org.apache.spark.scheduler.local.LocalEndpoint.<init>(LocalSchedulerBackend.scala:64)
	at org.apache.spark.scheduler.local.LocalSchedulerBackend.start(LocalSchedulerBackend.scala:132)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:220)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:581)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
	at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
	at py4j.Gateway.invoke(Gateway.java:238)
	at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
	at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
	at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
	at py4j.ClientServerConnection.run(ClientServerConnection.java:106)
	at java.lang.Thread.run(Thread.java:748)