招聘職位:高級數(shù)據(jù)倉庫開發(fā)工程師
我們正在尋找一位經驗豐富、穩(wěn)定的數(shù)據(jù)倉庫工程師,專注于財產險業(yè)務領域。負責構建和維護公司核心的、基于關系型數(shù)據(jù)庫的數(shù)據(jù)倉庫平臺。該平臺不涉及大數(shù)據(jù)生態(tài),核心是基于Gbase/Postgresql數(shù)據(jù)庫的分層建模與ETL流程開發(fā)。
崗位職責:
1.數(shù)據(jù)倉庫開發(fā)與維護:負責財產險數(shù)據(jù)倉庫的日常開發(fā)、維護與優(yōu)化,確保數(shù)據(jù)的準確性、完整性和及時性。
2.ETL流程設計:使用Python/Shell腳本,設計和開發(fā)從業(yè)務數(shù)倉到Gbase/Postgresql的增量及全量數(shù)據(jù)同步與落地流程。
3.數(shù)據(jù)分層加工:按照ODS、DWD、DWS、ADS等傳統(tǒng)數(shù)據(jù)分層理論,按照業(yè)務口徑進行數(shù)據(jù)清洗、轉換、整合和匯總加工。
4.腳本與存儲過程開發(fā):編寫和優(yōu)化Shell調度腳本、Python數(shù)據(jù)處理腳本以及數(shù)據(jù)庫存儲過程,完成復雜的數(shù)據(jù)加工邏輯。
5.數(shù)據(jù)流轉操作:負責數(shù)據(jù)的卸數(shù)、裝載、傳輸?shù)染唧w操作,并確保整個流程的高效與穩(wěn)定。
6.性能優(yōu)化:對數(shù)據(jù)庫SQL、存儲過程及ETL任務進行監(jiān)控與性能調優(yōu),解決生產環(huán)境中出現(xiàn)的數(shù)據(jù)問題。
7.技術文檔編寫:撰寫詳細的技術設計、流程說明及運維文檔。
任職要求:
學歷與經驗:計算機相關專業(yè)本科及以上學歷,學信網可查,具備5年及以上關系型數(shù)據(jù)倉庫(非大數(shù)據(jù)平臺)開發(fā)經驗。有財產險、車險等金融保險行業(yè)經驗者優(yōu)先。
核心技術:
1.精通SQL,具備出色的SQL編寫和優(yōu)化能力,熟悉存儲過程、函數(shù)、觸發(fā)器的開發(fā)。
2.熟練掌握Python/Shell語言,有使用Python進行數(shù)據(jù)庫連接和ETL腳本開發(fā)的實際項目經驗。
3.熟練編寫Shell腳本,具備使用Shell進行任務調度和流程控制的能力。
4.熟練使用數(shù)據(jù)庫工具或第三方工具進行數(shù)據(jù)遷移,包括業(yè)務腳本遷移。
數(shù)據(jù)庫知識:
1.深刻理解傳統(tǒng)數(shù)據(jù)倉庫的分層建模理論(如Inmon或Kimball模型)。
2.具備Gbase, Teradata, Greenplum, Oracle, DB2 等至少一種主流關系型MPP或企業(yè)級數(shù)據(jù)庫的開發(fā)和管理經驗。
3.對數(shù)據(jù)庫的卸數(shù)、裝載等批量數(shù)據(jù)處理操作有深入理解。
優(yōu)先:
1.了解財產險核心業(yè)務(如承保、理賠、再保等)及相關數(shù)據(jù)模型。
2.具備良好的責任心、團隊協(xié)作精神和溝通能力,能夠承擔工作壓力,對數(shù)據(jù)質量有高標準要求。
3.對框架重構/執(zhí)行效率有優(yōu)化經驗。
4.熟悉不同數(shù)據(jù)庫的語法、特性。