지니루

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299418.1 조인 표현식8.2 조인 타입8.3 내부조인(Inner Join)8.4 외부 조인8.5 왼쪽 외부 조인8.6 오른쪽 외부 조인8.7 왼쪽 세미 조인 ( Left Semi Join)8.8 왼쪽 안티 조인 (Left Anti Join)8.9 자연 조인8.10 교차 조인(카테시안 조인) // Cross Join, Cartesian Join8.11 조인 사용 시 문제점8.11.1 복합 데이터 타입의 조인8.11.2 중복 컬럼명 처리8.12 스파크의 조인 수행 방식8.12.1 네트워크 통신 전략8.13 정리기타 💡Spark에서..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299417.1 집계 함수7.1.1 count7.1.2 countDistinct 7.1.3 approx_count_distinct ( 근사치 계산 )7.1.4 first , last7.1.5 min, max7.1.6 sum7.1.7 sumDistinct (sum_distinct)7.1.8 avg , mean7.1.9 분산과 표준편차 (variance, stddev )7.1.10 비대칭도와 첨도 (skewness, kurtosis)7.1.11 공분산과 상관관계 (corr, covar_samp, covar_pop)7.1.12 복합 데이..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B6709029941Test Code6.2 스파크 데이터 타입으로 변환 ( lit )6.3 불리언타입 ( 비교/판별 )6.4 수치형 데이터 타입(pow, count ... )6.5 문자열 데이터 타입()6.5.1 정규표현식 ( regexp_extract, regexp_replace , translate, contains , instr )6.6 날짜와 타임스탬프 데이터 타입 다루기 6.7 null 값 다루기 6.7.1 coalesce 6.7.2 ifnull, nullif, nvl, nvl2 ( SQL 함수 ) 6.7.3 drop6.7.4 fil..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299415. 구조적 API 기본 연산 (CHAPTER 5)5.1 스키마5.2 컬럼과 표현식컬럼표현식DataFrame 컬럼에 접근5.3 레코드와 로우로우 5.4 DataFrame의 트랜스 포메이션5.4.1 Dataframe5.4.2 Select와 selectExpr5.4.3 스파크 데이터 타입 변환5.4.4 컬럼추가(withColumn)5.4.5 컬럼명 변경 (withColumnRenamed)5.4.6 예약 문자와 키워드 ( `(백틱) ) 5.4.7 대소문자구분 (default = false)5.4.8 컬럼 제거하기 (drop)5...