崗位職責(zé):
1. 參與大數(shù)據(jù)基礎(chǔ)平臺與數(shù)據(jù)倉庫的開發(fā)建設(shè),聚焦 Hadoop、Spark、Flink等大數(shù)據(jù)組件的二次開發(fā)、性能調(diào)優(yōu)及部署落地,通過技術(shù)優(yōu)化保障平臺高效穩(wěn)定運(yùn)行;
2. 負(fù)責(zé)全鏈路數(shù)據(jù)處理工程的設(shè)計與開發(fā),涵蓋多源數(shù)據(jù)采集、清洗轉(zhuǎn)換及 ETL 流程搭建,建立數(shù)據(jù)質(zhì)量校驗(yàn)與安全管控機(jī)制,確保數(shù)據(jù)鏈路可靠、合規(guī);
3. 主導(dǎo)數(shù)據(jù)中臺核心數(shù)據(jù)服務(wù)接口的設(shè)計、開發(fā)與迭代,構(gòu)建靈活可復(fù)用的數(shù)據(jù)服務(wù)能力,支撐業(yè)務(wù)端快速調(diào)用與需求響應(yīng);
4. 參與 BI 體系底層數(shù)據(jù)開發(fā),負(fù)責(zé)業(yè)務(wù)指標(biāo)計算邏輯實(shí)現(xiàn)與優(yōu)化,為可視化分析提供精準(zhǔn)、高效的數(shù)據(jù)支撐。
任職要求:
1. 本科以上學(xué)歷,計算機(jī)/數(shù)學(xué)/統(tǒng)計學(xué)等相關(guān)專業(yè);
2. 精通 Java/Scala/Python等至少一種編程語言,具備扎實(shí)的編碼能力與工程實(shí)踐經(jīng)驗(yàn),能獨(dú)立完成復(fù)雜模塊開發(fā);
3. 3-5大數(shù)據(jù)平臺、數(shù)據(jù)倉庫開發(fā)經(jīng)驗(yàn),熟悉 Hadoop、Spark、Flink、StarRocks 等技術(shù)棧,理解組件底層原理者優(yōu)先;
4. 具備海量數(shù)據(jù)(TB 級及以上)處理、數(shù)據(jù)建模及 ETL 開發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn),能設(shè)計高效數(shù)據(jù)處理流程并解決性能瓶頸;
5. 精通 SQL,能編寫復(fù)雜查詢并通過優(yōu)化(如索引設(shè)計、執(zhí)行計劃調(diào)整)提升處理效率;
6. 有 ETL 調(diào)度平臺(如 Airflow,Dolphinscheduler)、數(shù)據(jù)治理系統(tǒng)開發(fā)經(jīng)驗(yàn),或熟悉 StarRocks 在實(shí)時 / 離線場景落地實(shí)踐的候選人優(yōu)先;
7. 了解數(shù)據(jù)中臺架構(gòu)設(shè)計(數(shù)據(jù)分層、服務(wù)化),具備大數(shù)據(jù)存儲優(yōu)化或可視化工具集成經(jīng)驗(yàn)者優(yōu)先;
8. 具備快速學(xué)習(xí)能力、跨團(tuán)隊溝通協(xié)調(diào)能力,邏輯清晰,能獨(dú)立拆解并解決實(shí)際技術(shù)問題。