工作駐地:重慶/北京。
崗位職責(zé)要求
1、負(fù)責(zé)大數(shù)據(jù)平臺、數(shù)倉平臺相關(guān)組件安裝、部署,故障排查與修復(fù),保障平臺正常運(yùn)行
2、負(fù)責(zé)平臺基礎(chǔ)資源運(yùn)維,包括資源監(jiān)控、系統(tǒng)漏洞修復(fù)、制定擴(kuò)容計(jì)劃,完成擴(kuò)容操作
3、負(fù)責(zé)平臺數(shù)據(jù)采集加工任務(wù)運(yùn)維,包括任務(wù)監(jiān)控、任務(wù)優(yōu)化、數(shù)據(jù)質(zhì)量核對,保障數(shù)據(jù)任務(wù)高效運(yùn)行
4、負(fù)責(zé)數(shù)據(jù)應(yīng)用運(yùn)維,包括問題排查與修復(fù)、部署升級、數(shù)據(jù)質(zhì)量核對,保障應(yīng)用功能和數(shù)據(jù)正常
5、參與運(yùn)維方案、故障預(yù)案制定,負(fù)責(zé)完成運(yùn)維報(bào)告編寫
6. 平臺承接:接收數(shù)據(jù)層面資料(架構(gòu)、表結(jié)構(gòu)、模型血緣、存儲策略);摸清大數(shù)據(jù)平臺數(shù)據(jù)運(yùn)營現(xiàn)狀(調(diào)度、性能、優(yōu)化記錄),承接大數(shù)據(jù)整體運(yùn)營職責(zé);
7. 模型與架構(gòu):結(jié)合平臺,進(jìn)行邏輯/物理模型設(shè)計(jì)(優(yōu)化或新建);完成大數(shù)據(jù)平臺架構(gòu)承接與優(yōu)化,設(shè)計(jì)數(shù)據(jù)鏈路復(fù)用方案;
8. 數(shù)據(jù)開發(fā):負(fù)責(zé)大數(shù)據(jù)開發(fā)、指標(biāo)開發(fā)和數(shù)據(jù)服務(wù)開發(fā)(基于平臺開發(fā)組件)等數(shù)據(jù)和服務(wù)開發(fā)工作
9. 數(shù)據(jù)應(yīng)用支撐:基于應(yīng)用場景,進(jìn)行應(yīng)用需求分析,設(shè)計(jì)適配的數(shù)據(jù)模型或指標(biāo)體系;保障模型對應(yīng)用的支撐能力;
任職詳細(xì)要求
一、教育背景及工作經(jīng)驗(yàn):
1.第一學(xué)歷為本科及以上學(xué)歷,985高校、211高校本科及以上學(xué)歷優(yōu)先。專業(yè)領(lǐng)域包括但不限于大數(shù)據(jù)、計(jì)算機(jī)、統(tǒng)計(jì)學(xué)、信息工程或與數(shù)字化相關(guān)的專業(yè)。
2.工作年限5年(含)以上,具備數(shù)字化企業(yè)、能源行業(yè)或國有企業(yè)等相關(guān)企業(yè)3年以上工作經(jīng)歷,有能源行業(yè)大數(shù)據(jù)平臺開發(fā)或運(yùn)維項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
對于特別優(yōu)秀或公司緊缺的特殊人才,上述基本條件可適當(dāng)放寬
二、專業(yè)技能要求:
1.3-5年及以上大數(shù)據(jù)平臺(Hadoop生態(tài)圈)、數(shù)據(jù)倉庫平臺(Hive/GP/ClickHouse等)部署和運(yùn)維經(jīng)驗(yàn)。熟悉Prometheus+Grafana 監(jiān)控運(yùn)維工具,能結(jié)合數(shù)據(jù)庫日志、組件節(jié)點(diǎn)日志實(shí)現(xiàn)故障根因下鉆至SQL級別。
2.熟練掌握主流 MPP 數(shù)據(jù)庫(Greenplum、ClickHouse、Vertica 等)運(yùn)維,包括集群部署、參數(shù)/存儲引擎調(diào)優(yōu)、資源隊(duì)列配置。
3.熟悉DataX/Sqoop/Flume等數(shù)據(jù)采集工具、能基于日志排查同步延遲 / 丟數(shù)問題。
4.有一定Java開發(fā)基礎(chǔ),熟悉Spring Boot、Spring Cloud、Mybatis等開源框架,熟悉RestfulAPI,WebService等常見服務(wù)問題診斷。
5.對高并發(fā)、高性能的分布式系統(tǒng)應(yīng)用的設(shè)計(jì)和調(diào)優(yōu)有一定基礎(chǔ):如緩存技術(shù)、負(fù)載均衡、系統(tǒng)性能調(diào)優(yōu)等技術(shù)
6.熟練掌握Linux/Ubuntu命令,如系統(tǒng)調(diào)優(yōu)、性能分析工具 (top/iostat/netstat),熟悉Docker、Kubernetes部署與操作。
7.良好的問題分析和學(xué)習(xí)能力,有運(yùn)維方案、故障預(yù)案和運(yùn)維報(bào)告編寫能力。
8.熟悉遠(yuǎn)景EnOS平臺優(yōu)先、用友大數(shù)據(jù)平臺優(yōu)先。
9.精通數(shù)據(jù)倉庫理論與建模: 深刻理解維度建模(Kimball/Inmon)理論,具備豐富的分層模型設(shè)計(jì)經(jīng)驗(yàn)。負(fù)責(zé)數(shù)據(jù)倉庫各層(如ODS, DWD, DWS, ADS, DM)的數(shù)據(jù)模型設(shè)計(jì)、開發(fā)與優(yōu)化,構(gòu)建清晰、穩(wěn)定、易于理解的數(shù)據(jù)體系。
10.熟悉離線、實(shí)時、流批一體數(shù)據(jù)處理流程,有實(shí)際開發(fā)經(jīng)驗(yàn)。
11.精通SQL,熟悉窗口函數(shù)、性能調(diào)優(yōu)等高級技巧。編寫高質(zhì)量、可維護(hù)的數(shù)據(jù)ETL/ELT腳本,有參與核心數(shù)據(jù)的開發(fā)工作經(jīng)驗(yàn)。
12.熟悉大數(shù)據(jù)技術(shù): 熟練掌握Hive、Spark、Flink、Kafka、OLAP數(shù)據(jù)庫等至少兩種主流大數(shù)據(jù)組件,并了解其原理。
13.編程語言: 熟練掌握Shell、Python、Scala等腳本或編程語言中的一種或多種。
14.工具與流程: 熟悉ETL和調(diào)度工具,如DataX、kettel
三、其他要求:
1.具備較強(qiáng)責(zé)任心,能接受7*24小時接聽電話;
2.可參與集團(tuán)現(xiàn)場值班工作;