1. 負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)設(shè)計(jì)、搭建與優(yōu)化、故障處理,基于 Hadoop 生態(tài)系統(tǒng)進(jìn)行各類技術(shù)組件選型與規(guī)劃。
2. 負(fù)責(zé)大數(shù)據(jù)平臺雙棧間的數(shù)據(jù)采集、存儲、計(jì)算、分析的方案設(shè)計(jì)與落地。
3. 解決大數(shù)據(jù)平臺在性能、穩(wěn)定性、可擴(kuò)展性方面的關(guān)鍵技術(shù)問題。
4. 制定大數(shù)據(jù)平臺及相關(guān)組件的使用規(guī)范,推動規(guī)范在各個應(yīng)用項(xiàng)目中落地。
5.牽頭集團(tuán)雙棧大數(shù)據(jù)平臺多租戶整體管理機(jī)制制定,統(tǒng)籌管理集團(tuán)大數(shù)據(jù)平臺。
任職要求
1. 本科及以上學(xué)歷,計(jì)算機(jī)、信息技術(shù)、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)。
2. 5年以上基于 開源 Hadoop 生態(tài)(HDFS、MapReduce、YARN、Hive、Spark、Flink 、HBase、Iceberg、Hudi等)的開發(fā)與運(yùn)維經(jīng)驗(yàn)。
3. 有大型數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)與實(shí)施經(jīng)驗(yàn),熟悉分布式系統(tǒng)原理及優(yōu)化方法。
4. 具備豐富的項(xiàng)目落地經(jīng)驗(yàn),能夠獨(dú)立完成從需求分析到架構(gòu)設(shè)計(jì)、開發(fā)實(shí)現(xiàn)、上線運(yùn)維的全流程。
5. 熟悉數(shù)據(jù)倉庫建模、ETL 開發(fā)、數(shù)據(jù)治理及性能調(diào)優(yōu)。
6. 具備較強(qiáng)的技術(shù)方案撰寫能力和跨部門溝通協(xié)調(diào)能力。
7. 對新技術(shù)有持續(xù)學(xué)習(xí)熱情,能快速跟進(jìn)大數(shù)據(jù)領(lǐng)域的發(fā)展趨勢。
加分項(xiàng)
- 有大規(guī)模集群(500+節(jié)點(diǎn))管理經(jīng)驗(yàn)。
- 熟悉華為、星環(huán)等主流大數(shù)據(jù)方案。
- 熟悉主流的mpp數(shù)據(jù)庫,例如華為DWS等