主要職責(zé)
1.主導(dǎo)使用Dask(重點(diǎn)為dask.delaved/dask.dataframe/dask.distributed)或PySpark 構(gòu)建、優(yōu)化和維護(hù)大規(guī)模分布式計(jì)算流程，設(shè)計(jì)高性能、可擴(kuò)展的數(shù)據(jù)處理架構(gòu)；
2.對(duì)分布式計(jì)算框架進(jìn)行選型、技術(shù)路線規(guī)劃與執(zhí)行，包括執(zhí)行模型、調(diào)度策略、性能瓶頸定位與集群資源治理；
3.基于業(yè)務(wù)需求(批處理、復(fù)雜依賴 DAG、實(shí)時(shí)/準(zhǔn)實(shí)時(shí)處理等)設(shè)計(jì)端到端數(shù)據(jù)處理方案并推動(dòng)落地；
3.指導(dǎo)團(tuán)隊(duì)進(jìn)行高質(zhì)量代碼開(kāi)發(fā)、計(jì)算圖優(yōu)化、任務(wù)調(diào)度優(yōu)化、容錯(cuò)機(jī)制設(shè)計(jì)，提升整體工程能力和可維護(hù)性；
4.參與并主導(dǎo)核心系統(tǒng)的架構(gòu)設(shè)計(jì)與技術(shù)方案評(píng)審，確保系統(tǒng)在可擴(kuò)展性、穩(wěn)定性和成本方面達(dá)到生產(chǎn)級(jí)要求；
5.構(gòu)建數(shù)據(jù)處理流程的可觀測(cè)性體系，包括監(jiān)控指標(biāo)、性能分析、告警機(jī)制與容災(zāi)策略；
6.與業(yè)務(wù)團(tuán)隊(duì)、數(shù)據(jù)團(tuán)隊(duì)、工程團(tuán)隊(duì)深度協(xié)作，將業(yè)務(wù)需求抽象為通用的計(jì)算能力、平合能力與可復(fù)用組件；
7.跟蹤分布式計(jì)算、Pvthon 工程化、大數(shù)據(jù)技術(shù)生態(tài)的發(fā)展趨勢(shì)，持續(xù)推進(jìn)架構(gòu)演進(jìn)和平臺(tái)能力升級(jí)。