職位描述
我們正在尋找一位具備3-5年大數(shù)據(jù)開發(fā)經(jīng)驗的工程師，加入我們快速發(fā)展的數(shù)據(jù)團(tuán)隊。您將負(fù)責(zé)基于現(xiàn)代數(shù)據(jù)湖倉架構(gòu)（StarRocks+Paimon、Delta Lake+Spark）構(gòu)建高效的數(shù)據(jù)平臺，建立完善的數(shù)據(jù)治理體系，并探索AI與大數(shù)據(jù)融合的創(chuàng)新應(yīng)用。如果您對數(shù)據(jù)架構(gòu)演進(jìn)、數(shù)據(jù)質(zhì)量管理和AI驅(qū)動的大數(shù)據(jù)應(yīng)用有濃厚興趣，我們期待您的加入。
核心職責(zé)
1、 現(xiàn)代數(shù)據(jù)架構(gòu)開發(fā)與治理
①基于 StarRocks
+ Paimon 構(gòu)建高性能的實時湖倉一體分析平臺
②基于 Delta Lake + Spark 構(gòu)建可靠的數(shù)據(jù)湖架構(gòu)
③建立并維護(hù)數(shù)據(jù)治理體系，包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等
2、 數(shù)據(jù)處理與質(zhì)量保障
①開發(fā)高質(zhì)量的數(shù)據(jù)處理程序，支持特征工程和模型訓(xùn)練
②設(shè)計和實施數(shù)據(jù)質(zhì)量管理框架，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性
③構(gòu)建監(jiān)控告警體系，實時跟蹤數(shù)據(jù)質(zhì)量指標(biāo)
3、 數(shù)據(jù)治理體系建設(shè)
①建立企業(yè)級數(shù)據(jù)治理框架，制定數(shù)據(jù)管理規(guī)范和流程
②實施數(shù)據(jù)質(zhì)量管理方案，包括數(shù)據(jù)質(zhì)量規(guī)則定義、質(zhì)量評估和問題追蹤
③推動數(shù)據(jù)血緣分析和影響分析，構(gòu)建數(shù)據(jù)資產(chǎn)地圖
4、 AI應(yīng)用支持與數(shù)據(jù)服務(wù)
①與算法工程師協(xié)作，構(gòu)建高效的特征工程流水線
②支持機(jī)器學(xué)習(xí)平臺的數(shù)據(jù)需求，提供高質(zhì)量的訓(xùn)練數(shù)據(jù)集
③參與AI應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計和實施
任職要求
必需條件（3年以上經(jīng)驗）
1、 核心技術(shù)棧
①現(xiàn)代數(shù)據(jù)湖倉架構(gòu)：精通 StarRocks 和 Paimon，有實際項目部署和優(yōu)化經(jīng)驗
②數(shù)據(jù)湖技術(shù)：精通 Delta Lake 和 Spark，熟悉ACID事務(wù)、時間旅行等特性
③數(shù)據(jù)治理能力：有建立數(shù)據(jù)治理框架的實際經(jīng)驗，理解數(shù)據(jù)質(zhì)量管理體系
④編程能力：熟練掌握 Python、Java/Scala，具備扎實的編碼功底
2、 架構(gòu)與工程經(jīng)驗
①3年以上大數(shù)據(jù)開發(fā)經(jīng)驗，其中至少1年專注于現(xiàn)代數(shù)據(jù)湖倉架構(gòu)
②完整參與過基于StarRocks+Paimon或Delta Lake+Spark的項目實施
③有數(shù)據(jù)治理體系建設(shè)的實踐經(jīng)驗，包括數(shù)據(jù)標(biāo)準(zhǔn)制定、質(zhì)量規(guī)則設(shè)計等
④數(shù)據(jù)質(zhì)量管理經(jīng)驗：熟悉DQC、數(shù)據(jù)探查、質(zhì)量監(jiān)控等工具和方法論
3、 AI應(yīng)用開發(fā)能力
①有大數(shù)據(jù)與AI結(jié)合的項目經(jīng)驗，了解機(jī)器學(xué)習(xí)工作流程
②具備特征工程開發(fā)經(jīng)驗，能夠構(gòu)建高質(zhì)量的特征數(shù)據(jù)集
③了解模型訓(xùn)練的數(shù)據(jù)預(yù)處理和流水線構(gòu)建
④有PySpark或Spark MLlib的使用經(jīng)驗
深度能力要求
1、 數(shù)據(jù)治理專業(yè)能力
①數(shù)據(jù)治理框架設(shè)計：能夠設(shè)計符合企業(yè)實際的數(shù)據(jù)治理體系架構(gòu)
②數(shù)據(jù)質(zhì)量管理：精通數(shù)據(jù)質(zhì)量維度（完整性、準(zhǔn)確性、一致性、時效性等）
③元數(shù)據(jù)管理：熟悉元數(shù)據(jù)采集、管理、應(yīng)用全流程
④數(shù)據(jù)標(biāo)準(zhǔn)制定：有數(shù)據(jù)分類、數(shù)據(jù)字典、數(shù)據(jù)標(biāo)準(zhǔn)制定的實際經(jīng)驗
2、 技術(shù)實施能力
①精通StarRocks的物化視圖、索引優(yōu)化和查詢加速
②深入理解Paimon的LSM樹結(jié)構(gòu)、合并策略和流批一體讀寫
③掌握Delta Lake的Schema演進(jìn)、數(shù)據(jù)治理和性能優(yōu)化
④能開發(fā)數(shù)據(jù)質(zhì)量監(jiān)控工具，實現(xiàn)自動化的質(zhì)量檢測
優(yōu)先考慮（加分項）
1、 高級數(shù)據(jù)治理經(jīng)驗
①熟悉DAMA、DCMM等數(shù)據(jù)治理框架
②有數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)地圖項目實施經(jīng)驗
③了解數(shù)據(jù)安全治理和隱私保護(hù)相關(guān)技術(shù)
④有數(shù)據(jù)治理平臺工具選型或自研經(jīng)驗
2、 AI工程化治理
①有特征治理（Feature Governance）實踐經(jīng)驗
②了解模型數(shù)據(jù)質(zhì)量管理（Model Data Quality）
③有MLOps中的數(shù)據(jù)治理經(jīng)驗
④熟悉AI應(yīng)用中的數(shù)據(jù)血緣追蹤
3、 行業(yè)認(rèn)證與社區(qū)
①擁有CDMP、CDGA/CDGP等數(shù)據(jù)治理認(rèn)證
②參與過開源數(shù)據(jù)治理項目貢獻(xiàn)
③在數(shù)據(jù)治理相關(guān)會議有分享經(jīng)驗
教育背景
計算機(jī)科學(xué)、軟件工程、數(shù)據(jù)科學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷