崗位職責:
一、數(shù)據(jù)平臺與架構(gòu)建設(shè):
1、參與設(shè)計、搭建和持續(xù)優(yōu)化公司級大數(shù)據(jù)平臺架構(gòu),滿足數(shù)據(jù)接入、存儲、計算和服務的需求。
2、負責大數(shù)據(jù)組件的選型、部署、運維和性能調(diào)優(yōu)(如Hadoop, Spark, Flink, Kafka, Hive, HBase等)。
3、規(guī)劃和實施數(shù)據(jù)分層(ODS/DWD/DWS/ADS),構(gòu)建清晰、高效的數(shù)據(jù)模型。
二、數(shù)據(jù)管道開發(fā)與維護:
1、設(shè)計并開發(fā)穩(wěn)定、高效、可擴展的實時與離線數(shù)據(jù)管道,保障數(shù)據(jù)準確、準時地流向各數(shù)據(jù)層與應用端。
2、處理多樣化數(shù)據(jù)源(日志、數(shù)據(jù)庫、第三方API等)的接入與集成
3、編寫和維護高效的數(shù)據(jù)處理作業(yè)(ETL/ELT),確保其生產(chǎn)環(huán)境下的穩(wěn)定運行。
三、數(shù)據(jù)治理與質(zhì)量保障:
1、實施數(shù)據(jù)質(zhì)量監(jiān)控體系,定義和跟蹤數(shù)據(jù)質(zhì)量指標,及時發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題。
2、協(xié)助建立數(shù)據(jù)血緣、元數(shù)據(jù)管理和數(shù)據(jù)安全(脫敏、權(quán)限)規(guī)范。
3、保障數(shù)據(jù)服務的SLA,優(yōu)化數(shù)據(jù)產(chǎn)出時效。
四、性能優(yōu)化與成本管控:
1、持續(xù)監(jiān)控集群與作業(yè)性能,分析資源使用情況,進行瓶頸診斷與調(diào)優(yōu)。
2、通過技術(shù)手段優(yōu)化計算與存儲資源的使用效率,有效控制大數(shù)據(jù)平臺成本。
任職要求:
1、本科及以上學歷,計算機、軟件工程、數(shù)學或相關(guān)專業(yè)。
2、3年以上大數(shù)據(jù)領(lǐng)域?qū)嶋H開發(fā)經(jīng)驗,有完整的數(shù)據(jù)平臺或數(shù)據(jù)管道建設(shè)項目經(jīng)驗。
3、精通SQL,具備出色的數(shù)據(jù)結(jié)構(gòu)理解和性能優(yōu)化能力。
4、熟練掌握至少一門主流編程語言(Java/Scala/Python其中之一)。
5、深入理解并擁有以下至少一項技術(shù)的實戰(zhàn)經(jīng)驗:Hadoop、Spark(Core/Streaming/SQL)、Flink、Kafka。
6、熟悉數(shù)據(jù)倉庫分層理論、維度建模方法,具備良好的數(shù)據(jù)模型設(shè)計能力。
7、熟悉Linux開發(fā)環(huán)境,具備基本的Shell腳本編寫能力。