工作內(nèi)容:1、負責數(shù)據(jù)服務平臺的日常技術保障,包括日常巡檢監(jiān)控、調(diào)度任務作業(yè)監(jiān)控和日常運維保障;
2、負責大數(shù)據(jù)平臺底層組件(HDFS,YARN,HIVE)的日常維護,線上問題處理,監(jiān)控告警處理,開發(fā)團隊技術支持;
3、負責大數(shù)據(jù)平臺周邊組件azkaban、flink、promethues服務的維護和故障處理;
4、負責云服務組件kafka、redis、ADB、polardb各種數(shù)據(jù)庫的維護和管理;
5、負責應用系統(tǒng)的輕量技術保障,包括系統(tǒng)監(jiān)控、系統(tǒng)巡檢、系統(tǒng)備份、系統(tǒng)安全評估;負責對接監(jiān)控平臺,根據(jù)系統(tǒng)及業(yè)務需求優(yōu)化監(jiān)控指標;負責云資源的管理及對接,包括阿里云、華為云等;負責提供系統(tǒng)運維技術支持,提供解決方案等;
6、負責數(shù)據(jù)庫的日常維護,包括數(shù)據(jù)庫權限管理、巡檢監(jiān)控、備份恢復等;負責提供數(shù)據(jù)庫技術支持,包括性能測試、調(diào)整、優(yōu)化等;解答各類技術問題,診斷和解決數(shù)據(jù)庫故障、錯誤和異常問題;定期進行錯誤日志分析,評估系統(tǒng)的穩(wěn)健性和可靠性;負責數(shù)據(jù)庫自動化運維工具和平臺建設。
崗位要求1、具備CDH集群的組件部署, 節(jié)點擴容,資源優(yōu)化等運維工作能力;
2、熟系linux操作系統(tǒng)命令,掌握shell腳本編寫,具備自動化運維能力;
3、具備100+節(jié)點以上或pb級大數(shù)據(jù)集群運維經(jīng)驗;
4、熟悉操作系統(tǒng)應用常用命令,包括Linux、Windows等;
5、熟悉常用運維腳本語言,如Shell/Python/Golang等;
6、熟悉容器化(K8S、Docker)、中間件(redis、kafka、es、rocketmq等)及其他常見平臺運維技術;
7、熟悉大型數(shù)據(jù)庫技術和工具,包括Mysql、SQL Server、Oracle、PostgreSQL、MogonDB、Redis等;
8、熟悉主流云計算平臺(阿里云、騰訊云、華為云等), 具備阿里云全棧產(chǎn)品的高效部署與運維實操能力優(yōu)先;
9、熟悉持續(xù)集成,對CI/CD流水線有實際設計落地經(jīng)驗;
10、熟悉主流的promethus、grafana、ELK、阿里云監(jiān)控、阿里云ARMS等監(jiān)控工具;
11、具有cdh,或cdp管理員認證優(yōu)先;
12、熟悉石油石化大型能源企業(yè)(中石油、中海油、中石化等)中下游業(yè)務、DCMM 標準、項目管理者優(yōu)先。