關(guān)鍵字:大數(shù)據(jù)遷移、Hadoop、Spark、Nifi、CDM、華為數(shù)據(jù)湖、數(shù)據(jù)倉庫
主要職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)搬遷和系統(tǒng)集成。
2、利用華為云數(shù)據(jù)遷移工具搬遷數(shù)據(jù)倉庫并進(jìn)行數(shù)據(jù)核對。
3、處理海量數(shù)據(jù),進(jìn)行實(shí)時和批處理分析,支持業(yè)務(wù)需求。
4、負(fù)責(zé)Nifi作業(yè)的遷移和調(diào)測。
5、具備良好的SQL優(yōu)化能力;能夠完成數(shù)據(jù)比對工作,并且在數(shù)據(jù)出錯時,有能力根據(jù)數(shù)據(jù)濟(jì)追溯并定位出問題腳本。
任職資格:
1、5年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),熟悉大數(shù)據(jù)相關(guān)技術(shù)棧。
2、精通 Hadoop、Spark、Flink、hive等大數(shù)據(jù)處理框架。能夠獨(dú)立完成fink、spark作業(yè)的遷移/開發(fā),能夠端到端的進(jìn)行調(diào)測。
3、精通apache nifi開源組件,能夠獨(dú)立完成Nifi作業(yè)的遷移和調(diào)測
4、熟練掌握 Java、SQL、Scala 或 Python 等語言。
5、具備良好的SQL優(yōu)化能力,熟悉關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫。
6、具備大數(shù)據(jù)平臺性能優(yōu)化的經(jīng)驗(yàn)。
7、優(yōu)秀的溝通能力和書面表達(dá)能力。
8、熟悉華為大數(shù)據(jù)平臺MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先。
9、大專以上學(xué)歷。
10、熟悉華為大數(shù)據(jù)平臺MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先、具備大數(shù)據(jù)遷移工作經(jīng)驗(yàn)優(yōu)先。