【崗位職責】:
1.參與企業(yè)級大數(shù)據(jù)平臺的設計、開發(fā)與持續(xù)迭代,支撐數(shù)據(jù)采集、存儲、計算與服務化能力建設;
2.基于 Hadoop/Spark/Flink 等生態(tài)組件,開發(fā)和優(yōu)化離線及實時數(shù)據(jù)處理任務;
3.參與數(shù)據(jù)平臺基礎(chǔ)組件(數(shù)據(jù)接入、任務調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)的開發(fā)與工程化落地;
4.配合數(shù)據(jù)分析、算法及業(yè)務團隊,提升數(shù)據(jù)鏈路的穩(wěn)定性、性能與可擴展性;
5.持續(xù)優(yōu)化數(shù)據(jù)處理效率,推動平臺自動化、標準化和規(guī)范化建設;
任職要求
1.本科及以上學歷,計算機、軟件工程、信息技術(shù)等相關(guān)專業(yè);
2.1–2年大數(shù)據(jù)或后臺開發(fā)相關(guān)工作經(jīng)驗,有數(shù)據(jù)平臺或數(shù)據(jù)倉庫實踐經(jīng)驗者優(yōu)先;
3.扎實的Java/Python至少一門語言基礎(chǔ),具備良好的編碼規(guī)范與工程意識;
4.熟悉Hadoop、Hive、Spark、Flink、Sqoop、Flume等主流大數(shù)據(jù)組件中的一項或多項;
5.熟悉Kafka高吞吐消息系統(tǒng),掌握分區(qū)策略、副本機制及消費組管理,熟悉HBase海量數(shù)據(jù)存儲與RowKey優(yōu)化設計;
6.熟悉Spark MLlib、Flink ML、Alink等大數(shù)據(jù)AI框架,實現(xiàn)海量數(shù)據(jù)上的模型訓練與實時預測;
7.對數(shù)據(jù)平臺建設有清晰認知,具備良好的學習能力和問題拆解能力