22.09.18 기준 현재 인기있는 IT기업(네카라투배당토, 3N 등)의 공고에 나와있는 요구 기술들을 지극히 개인적으로 작성하였음. * 공고의 경우 작성 시점 기준 각 공식홈페이지에이 있는 공고를 기준으로 하여 나중엔 링크가 제거될 수 있음.
1. 채용공고
1.1 데이터 플랫폼 엔지니어
데이터 플랫폼 엔지니어
| Name | 공고명 | Text | 지원 자격(언어) | 지원자격(데이터) | 우대사항 | 비고 |
|---|---|---|---|---|---|---|
| 네이버 | 네이버 광고플랫폼 Data/MLOps Engineer 네이버 커머스플랫폼 Data Engineering … 등 | Link | JavaPythonScalanode.js | FlinkHadoop eco SystemHiveSparkimpalakafkakudu | ElasticsearchKubernetesMLOpsMongoDBdruidtrino | 공고가 여러개이며, 각 공고별로 분야가 약간 다름 |
| 카카오 | 빅데이터 활용 분석 플랫폼 개발자 모집 | Link | jvm | Hadoop eco SystemMongoDB | sparkstorm | |
| 카카오 | 하둡 데이터 파이프라인 플랫폼 개발 | Link | jvm | AirflowKuberneteshivekafkaspark | ||
| Line Plus | Data Platform Engineer | Link | GoJavaPython | ElasticsearchHadoop eco SystemKubernetes | SRE외국어(영어일본어) | |
| 쿠팡 페이 | 핀테크 데이터 플랫폼 팀 데이터 엔지니어(Data Engineer) | Link | JavaPythonRScala | Hadoop eco SystemHiveSparkYarn | MLTableau | |
| 토스 | Data Engineer (Platform) | Link | JavaPythonScala | FlinkHadoopHbaseSparkkafka |
1.2 데이터 엔지니어 (BW/BI/Pipeline 포함)
데이터 엔지니어
| Name | 공고명 | Text | 지원 자격(언어) | 지원자격(데이터) | 우대사항 | 비고 |
|---|---|---|---|---|---|---|
| 카카오 | 데이터 전문가(모델러/분석가/엔지니어) 모집 | Link | PythonRScala | Hadoop M/RHiveSpark | ML | 타 직군과 공고가 섞여있음 |
| 라인 | LINE Ads - Data Engineer | Link | JavaScala | Hadoop eco SystemSpark | ML | |
| 쿠팡 | Staff Data Engineer (Data Platform)_L6-I | Link | GoJavaKotlinPythonScala | EMRHiveSpark | KakfaSpark-Streamingstorm | |
| 배민 | [Tech] DW/BI 엔지니어 경력직 모집 | Link | HivePretoSparkSQL | AirflowAzkabanRedashSparkTableau | ||
| 토스 | Data Engineer | Link | JavaPythonScala | FlinkHadoop eco SystemHbaseSparkkafka | ML추천 | |
| 엔씨소프트 | 데이터 파이프라인 개발자 모집 | Link | JavaPython | Hadoop eco System | Kubernetes |
정리
🚫
언어 : Java,Python, Sacla
Echo System : (Hadoop Base) Spark, Hive, Flink
우대사항 : ML, Kubernetes
* 사용언어의 경우 거의 대부분의 회사가 Java, Python, Scala를 사용하고있으며 , 그 외 Go 등을 환경에 따라 사용중
- Spark를 사용하기위해 Python, Scala가 있는걸로 보여지고,
- Java는 Hadoop이 java기반이고, 우리 나라에선 Java를 많이 사용하기 때문에 java는 기본으로 보고있다고 생각함.
* Kafka의 경우 특정 쓰는곳은 매우 중요하게보고, 아닌 부서의 경우 우대사항정도로 관리됨.
* ES, Hbase, Druid, Presto 등은 사용중인 환경에 맞게 사용함
* 파이프라인 개발자의 경우 Ariflow가 공고에 거의 포함되는걸로 보여짐
Uploaded by N2T