崗位職責(zé)：
- 負(fù)責(zé)湖北電信大數(shù)據(jù)項(xiàng)目的日常維護(hù)和故障處理
- 參與項(xiàng)目需求分析、技術(shù)方案設(shè)計(jì)和實(shí)現(xiàn)
- 負(fù)責(zé)數(shù)據(jù)ETL流程的開發(fā)和優(yōu)化
- 參與數(shù)據(jù)質(zhì)量監(jiān)控和數(shù)據(jù)稽核規(guī)則的實(shí)現(xiàn)
- 負(fù)責(zé)項(xiàng)目相關(guān)文檔的編寫和維護(hù)
- 參與團(tuán)隊(duì)技術(shù)分享和技術(shù)創(chuàng)新
核心技術(shù)棧要求：
- 編程語(yǔ)言 ：Scala (2.12+)，具備扎實(shí)的函數(shù)式編程基礎(chǔ)
- 大數(shù)據(jù)框架 ：Apache Spark (2.2.0+)，熟悉Spark SQL、DataFrame API
- 數(shù)據(jù)庫(kù) ：Hive、MySQL、PostgreSQL，熟悉SQL優(yōu)化
- 數(shù)據(jù)格式 ：了解Iceberg數(shù)據(jù)湖技術(shù)，了解數(shù)據(jù)分區(qū)、壓縮等優(yōu)化策略
輔助技術(shù)要求：
- HTTP客戶端 ：Apache HttpClient
- JSON處理 ：Fastjson
- 連接池 ：Druid
- 版本控制 ：Git
- 構(gòu)建工具 ：Maven
- 操作系統(tǒng) ：Linux，熟悉Shell腳本編寫
核心能力描述：
- 具備分布式系統(tǒng)設(shè)計(jì)和開發(fā)能力
- 熟悉大數(shù)據(jù)處理的性能優(yōu)化策略，如Spark作業(yè)調(diào)優(yōu)、數(shù)據(jù)傾斜處理
- 具備數(shù)據(jù)建模能力，能夠設(shè)計(jì)合理的數(shù)據(jù)模型和表結(jié)構(gòu)
- 熟悉數(shù)據(jù)安全和隱私保護(hù)相關(guān)技術(shù)（可選）