지니루

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299418.1 조인 표현식8.2 조인 타입8.3 내부조인(Inner Join)8.4 외부 조인8.5 왼쪽 외부 조인8.6 오른쪽 외부 조인8.7 왼쪽 세미 조인 ( Left Semi Join)8.8 왼쪽 안티 조인 (Left Anti Join)8.9 자연 조인8.10 교차 조인(카테시안 조인) // Cross Join, Cartesian Join8.11 조인 사용 시 문제점8.11.1 복합 데이터 타입의 조인8.11.2 중복 컬럼명 처리8.12 스파크의 조인 수행 방식8.12.1 네트워크 통신 전략8.13 정리기타 💡Spark에서..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B67090299417.1 집계 함수7.1.1 count7.1.2 countDistinct 7.1.3 approx_count_distinct ( 근사치 계산 )7.1.4 first , last7.1.5 min, max7.1.6 sum7.1.7 sumDistinct (sum_distinct)7.1.8 avg , mean7.1.9 분산과 표준편차 (variance, stddev )7.1.10 비대칭도와 첨도 (skewness, kurtosis)7.1.11 공분산과 상관관계 (corr, covar_samp, covar_pop)7.1.12 복합 데이..

💡[한빛미디어]Spark 완전가이드 를 보며 정리한 내용임. * 서적구매 : https://hanbit.co.kr/store/books/look.php?p_code=B6709029941Test Code6.2 스파크 데이터 타입으로 변환 ( lit )6.3 불리언타입 ( 비교/판별 )6.4 수치형 데이터 타입(pow, count ... )6.5 문자열 데이터 타입()6.5.1 정규표현식 ( regexp_extract, regexp_replace , translate, contains , instr )6.6 날짜와 타임스탬프 데이터 타입 다루기 6.7 null 값 다루기 6.7.1 coalesce 6.7.2 ifnull, nullif, nvl, nvl2 ( SQL 함수 ) 6.7.3 drop6.7.4 fil..

22.09.18 기준 현재 인기있는 IT기업(네카라투배당토, 3N 등)의 공고에 나와있는 요구 기술들을 지극히 개인적으로 작성하였음. * 공고의 경우 작성 시점 기준 각 공식홈페이지에이 있는 공고를 기준으로 하여 나중엔 링크가 제거될 수 있음.1. 채용공고1.1 데이터 플랫폼 엔지니어 데이터 플랫폼 엔지니어 Name공고명Text지원 자격(언어)지원자격(데이터)우대사항비고네이버네이버 광고플랫폼 Data/MLOps Engineer 네이버 커머스플랫폼 Data Engineering … 등LinkJavaPythonScalanode.jsFlinkHadoop eco SystemHiveSparkimpalakafkakuduElasticsearchKubernetesMLOpsMongoDBdruidtrino공고가 여러개이며..