Spark Study - week 0 ( 스파크 설치 )

💡 0주차 스터디 (준비 기간)

• 일시 : 2022.02.06 9pm
• 장소(?) : 화상회의
• 내용 : 스터디원 소개 목차 리뷰 및 스터디 방향성 논의 숙제검사/ 어려웠던점
• 숙제 : 스파크 완벽가이드 서적 구매, 챕터1 참고하여 개인 개발환경 구성
• 사전 협의사항 : 개발환경은 개별적으로 사용하되 spark 버전은 최신 사용(3.2.1) , (권장)주피터 노트북 사용 

---

스터디준비 

 * 테스트환경은 Mac BicSur 11.6 환경에서 진행

 

1. Spark Local 환경  설치 (3.2.1 버전 사용)

  case1) HomeBrew를 통한 설치 
  * Mac OS환경에서 설치할경우 이 방법을 사용하면 가장 간단하게 설치가 가능하다.  
  * 타 블로그에 자세한 내용이 있으니 해당방법으로 설치할 경우 참고하여 설치

       https://kingname.tistory.com/159?category=776050

[mac] Apache Spark Study -1 ( Spark설치(HomeBrew) )

  case2) 공식 홈페이지 설치 
   * 공식 홈페이지 : https://spark.apache.org/downloads

   * 원하는 버전 및 패키지 타입 선택 후 설치 진행 
      - 3.2.1 ( 설치당시 최신버전 사용 )
      - Pre-Built for Apache Hadoop 3.3 and later 

# 다운로드
sudo wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz

# 압축풀기
tar xvzf spark-3.2.1-bin-hadoop3.2.tgz

   - (선택사항) 환경변수 설정 

# 필요 시 각 OS 환경에 맞게 환경 변수 설정 

echo ‘export SPARK_HOME=/opt/spark-3.2.1-bin-hadoop3.2’ » /etc/profile
source /etc/profile

 

  case3) 공식 홈페이지 설치 

  * python 2.x버전 이후에서는 Python Pypi(pip) 기능을 사용하여 설치 가능 https://pypi.org/project/pyspark/

 

pyspark