崗位職責:
1. 參與需求評審,與業(yè)務/數(shù)據(jù)產(chǎn)品團隊溝通,完成數(shù)倉方案與數(shù)據(jù)模型設計(星型/雪花/專題模型等);
2. 使用 MaxCompute、AnalyticDB/Hologres、EMR、DataWorks 等阿里云組件實現(xiàn) ETL/ELT 作業(yè)與數(shù)據(jù)流水線,搭建批次/實時數(shù)據(jù)處理流程;
3. 在 DataWorks 中開發(fā)和調(diào)度 DAG,編寫 SQL/腳本,負責作業(yè)自動化、監(jiān)控與報警配置;
4. 負責數(shù)據(jù)建模、分區(qū)/分桶策略、索引與物化視圖設計,進行性能優(yōu)化;
5. 編寫和維護數(shù)據(jù)質(zhì)量規(guī)則(DQ)、數(shù)據(jù)校驗與血緣文檔,參與數(shù)據(jù)治理和數(shù)據(jù)目錄建設;
6. 負責數(shù)據(jù)采集/同步:使用 DTS、DataHub、消息隊列(如 RocketMQ/Kafka)等實現(xiàn)異構數(shù)據(jù)源的接入與實時同步;
7. 根據(jù)安全與合規(guī)要求,設計數(shù)據(jù)權限、脫敏策略,參與數(shù)據(jù)安全與審計工作;
8. 編寫開發(fā)規(guī)范與技術文檔,推進代碼/作業(yè)的 CI/CD 與版本管理,支持線上故障排查與性能調(diào)優(yōu)。
任職要求:
1. 本科及以上學歷,計算機、軟件工程、信息系統(tǒng)、數(shù)學等相關專業(yè)優(yōu)先;
2. 熟練掌握 SQL,能夠編寫復雜查詢、窗口函數(shù)、子查詢、聚合及性能優(yōu)化;
3. 熟練掌握至少一種編程語言:Python/Java/Scala,能編寫數(shù)據(jù)處理腳本與 UDF/UDAF;
4. 熟悉數(shù)據(jù)建模方法(維度建模/星型/雪花模型)和常見數(shù)據(jù)倉庫架構(Lambda/Kappa/ELT);
5. 具有良好的溝通能力、責任心與團隊協(xié)作精神,能與業(yè)務方與上游/下游系統(tǒng)高效對接。