崗位職責:
1. 負責數據倉庫平臺的數據遷移方案設計與實施;
2. 分析數據庫的架構、表結構、ETL流程及性能瓶頸,制定高效、穩(wěn)定的遷移策略3. 完成數據模型遷移、SQL&SHELL腳本熟練/精通轉換、存儲過程/函數重寫,確保業(yè)務邏輯在DWS中準確還原;
4. 設計并開發(fā)數據校驗機制,保障遷移前后數據的一致性、完整性與準確性;
5. 與業(yè)務方、數據開發(fā)、運維團隊協(xié)作,完成遷移過程中的測試、上線及問題排查;
6. 編寫技術文檔,包括遷移方案、數據映射文檔、問題處理記錄等;
7. 持續(xù)優(yōu)化DWS平臺的數據架構與性能,提升查詢效率與系統(tǒng)穩(wěn)定性。
基本要求:
1. 計算機、軟件工程、數據科學或相關專業(yè)專科及以上學歷;
2. 5年以上大數據平臺或數據倉庫相關開發(fā)經驗,有大型數據遷移項目經驗者優(yōu)先;
3. 熟悉Greenplum架構原理,掌握GP中的并行處理、分布鍵、分區(qū)表、外部表等核心技術;
4. 熟悉主流DWS平臺(如華為DWS具備實際開發(fā)與調優(yōu)經驗;
5. 精通SQL語言,具備復雜SQL編寫、性能分析與優(yōu)化能力;
6. 熟悉數據遷移流程,有過數據遷移上云經驗,或者熟悉大數據 Hadoop、Spark、Flink、hive等大數據處理框架優(yōu)先
7. 熟練Linux操作系統(tǒng),掌握Shell腳本語言,具備自動化遷移腳本開發(fā)能力;
8. 具備良好的溝通能力、團隊協(xié)作精神和抗壓能力,責任心強。