지니루

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299418.1 조인 표현식8.2 조인 타입8.3 내부조인(Inner Join)8.4 외부 조인8.5 왼쪽 외부 조인8.6 오른쪽 외부 조인8.7 왼쪽 세미 조인 ( Left Semi Join)8.8 왼쪽 안티 조인 (Left Anti Join)8.9 자연 조인8.10 교차 조인(카테시안 조인) // Cross Join, Cartesian Join8.11 조인 사용 시 문제점8.11.1 복합 데이터 타입의 조인8.11.2 중복 컬럼명 처리8.12 스파크의 조인 수행 방식8.12.1 네트워크 통신 전략8.13 정리기타 💡Spark에서..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299417.1 집계 함수7.1.1 count7.1.2 countDistinct 7.1.3 approx_count_distinct ( 근사치 계산 )7.1.4 first , last7.1.5 min, max7.1.6 sum7.1.7 sumDistinct (sum_distinct)7.1.8 avg , mean7.1.9 분산과 표준편차 (variance, stddev )7.1.10 비대칭도와 첨도 (skewness, kurtosis)7.1.11 공분산과 상관관계 (corr, covar_samp, covar_pop)7.1.12 복합 데이..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B6709029941Test Code6.2 스파크 데이터 타입으로 변환 ( lit )6.3 불리언타입 ( 비교/판별 )6.4 수치형 데이터 타입(pow, count ... )6.5 문자열 데이터 타입()6.5.1 정규표현식 ( regexp_extract, regexp_replace , translate, contains , instr )6.6 날짜와 타임스탬프 데이터 타입 다루기 6.7 null 값 다루기 6.7.1 coalesce 6.7.2 ifnull, nullif, nvl, nvl2 ( SQL 함수 ) 6.7.3 drop6.7.4 fil..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299415. 구조적 API 기본 연산 (CHAPTER 5)5.1 스키마5.2 컬럼과 표현식컬럼표현식DataFrame 컬럼에 접근5.3 레코드와 로우로우 5.4 DataFrame의 트랜스 포메이션5.4.1 Dataframe5.4.2 Select와 selectExpr5.4.3 스파크 데이터 타입 변환5.4.4 컬럼추가(withColumn)5.4.5 컬럼명 변경 (withColumnRenamed)5.4.6 예약 문자와 키워드 ( `(백틱) ) 5.4.7 대소문자구분 (default = false)5.4.8 컬럼 제거하기 (drop)5...

22.09.18 기준 현재 인기있는 IT기업(네카라투배당토, 3N 등)의 공고에 나와있는 요구 기술들을 지극히 개인적으로 작성하였음. * 공고의 경우 작성 시점 기준 각 공식홈페이지에이 있는 공고를 기준으로 하여 나중엔 링크가 제거될 수 있음.1. 채용공고1.1 데이터 플랫폼 엔지니어 데이터 플랫폼 엔지니어 Name공고명Text지원 자격(언어)지원자격(데이터)우대사항비고네이버네이버 광고플랫폼 Data/MLOps Engineer 네이버 커머스플랫폼 Data Engineering … 등LinkJavaPythonScalanode.jsFlinkHadoop eco SystemHiveSparkimpalakafkakuduElasticsearchKubernetesMLOpsMongoDBdruidtrino공고가 여러개이며..