崗位職責
1、負責大數(shù)據(jù)平臺架構規(guī)劃設計、規(guī)范制定、平臺優(yōu)化、技術選型、新技術調研。
2、負責公司大數(shù)據(jù)平臺相關數(shù)據(jù)產(chǎn)品的方案設計、評審及技術優(yōu)化,負責關鍵技術模塊的設計和開發(fā)。
3、制定和持續(xù)優(yōu)化大數(shù)據(jù)平臺相關的架構、規(guī)范與流程,包括但不限于技術方案規(guī)范、代碼管理規(guī)范、部署運維規(guī)范等。
4、負責大數(shù)據(jù)平臺運維,異常調查、處理,確保平臺穩(wěn)定高效運行。
任職要求
1、計算機相關專業(yè),5 年以上大數(shù)據(jù)領域相關經(jīng)驗,對大數(shù)據(jù)技術有濃厚的興趣。
2、具備豐富的大數(shù)據(jù)平臺架構設計經(jīng)驗,熟悉數(shù)據(jù)采集、清洗、同步、計算、存儲、應用等各個環(huán)節(jié),熟悉離線數(shù)倉、實時數(shù)倉、數(shù)據(jù)湖、湖倉一體等架構的平臺構建方法。
3、熟悉大數(shù)據(jù)集群,具有大規(guī)模集群規(guī)劃實施、監(jiān)控與運維工作經(jīng)驗,熟悉大數(shù)據(jù)常見問題及處理方法。
4、熟悉 Hadoop 大數(shù)據(jù)生態(tài),對
Hadoop/Hive/Spark/Flink/Kafka/HBase/Redis/Hudi/Iceberg/Delta Lake/Doris/StarRocks/ClickHouse 等大數(shù)據(jù)框架的原理、配置、使用、優(yōu)化等方面有一定理解和掌握,至少精通其中 1-2 種。
5、扎實的編程基礎,精通 java/scala/python 其中任一開發(fā)語言,熟練掌握 jvm 性能調優(yōu)和問題排查方法。
6、強烈的責任心和良好的分析問題、解決問題的能力。溝通能力強,能與周邊同事友好相處,抗壓能力強。