1.參與企業(yè)級大數(shù)據(jù)平臺的設(shè)計、開發(fā)與持續(xù)迭代,支撐數(shù)據(jù)采集、存儲、計算與服務(wù)化能力建設(shè);
2.基于 Hadoop/Spark/Flink 等生態(tài)組件,開發(fā)和優(yōu)化離線及實時數(shù)據(jù)處理任務(wù);
3.參與數(shù)據(jù)平臺基礎(chǔ)組件(數(shù)據(jù)接入、任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)的開發(fā)與工程化落地;
4.配合數(shù)據(jù)分析、算法及業(yè)務(wù)團(tuán)隊,提升數(shù)據(jù)鏈路的穩(wěn)定性、性能與可擴(kuò)展性;
5.持續(xù)優(yōu)化數(shù)據(jù)處理效率,推動平臺自動化、標(biāo)準(zhǔn)化和規(guī)范化建設(shè);
任職要求
1.本科及以上學(xué)歷,計算機、軟件工程、信息技術(shù)等相關(guān)專業(yè);
2.扎實的Java/Python至少一門語言基礎(chǔ),具備良好的編碼規(guī)范與工程意識;
3.熟悉Hadoop、Hive、Spark、Flink、Sqoop、Flume等主流大數(shù)據(jù)組件中的一項或多項;
4.熟悉Kafka高吞吐消息系統(tǒng),掌握分區(qū)策略、副本機制及消費組管理,熟悉HBase海量數(shù)據(jù)存儲與RowKey優(yōu)化設(shè)計;
5.熟悉Spark MLlib、Flink ML、Alink等大數(shù)據(jù)AI框架,實現(xiàn)海量數(shù)據(jù)上的模型訓(xùn)練與實時預(yù)測;
6.對數(shù)據(jù)平臺建設(shè)有清晰認(rèn)知,具備良好的學(xué)習(xí)能力和問題拆解能力