服務職責:
1、負責大數(shù)據(jù)集群的日常維護,包括監(jiān)控、告警響應、告警處理等。
2、負責大數(shù)據(jù)集群的故障應急處理、根因分析、優(yōu)化治理和隱患整改等。
3、負責大數(shù)據(jù)集群的租戶管理,包括存儲資源劃分、計算資源劃分和權限管控等。
4、負責大數(shù)據(jù)集群各組件的搭建、縮容、擴容、版本升級和遷移。
5、負責編寫運維相關的自動化腳本,監(jiān)控系統(tǒng)搭建、優(yōu)化,撰寫大數(shù)據(jù)平臺運維相關文檔。
6、負責大數(shù)據(jù)集群各組件BUG修復、安全漏洞修復。
7、大數(shù)據(jù)平臺7*24小時值班,重大節(jié)假日活動期間重保值守。
8、協(xié)助上層應用完成異常作業(yè)優(yōu)化。
9、新技術棧、新架構的研究,測試,部署和驗證。
服務要求 :
1、大學???年或大學本科5年或研究生3年以上通信、互聯(lián)網、計算機等專業(yè)領域工作經驗。
2、具有專業(yè)領域一個及以上高級認證資質者優(yōu)先。
3、精通Linux 基本命令,可對大數(shù)據(jù)集群底座環(huán)境進行性能優(yōu)化。
4、精通ansible、expect、shell等自動化工具。
5、具有CDH、CDP、HDP、開源Hadoop等主流大數(shù)據(jù)平臺的運營、維護、建設和升級經驗。
6、精通JVM運行原理,并對常見的JVM性能問題進行深度優(yōu)化。
7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可處理常見問題。
8、可使用Ranger、knox、Kerboers、iptables對Hadoop集群進行安全加固。
9、熟練使用Promethus、Grafana、zabbix、Ganglia等開源監(jiān)控工具的搭建和配置。
10、對Hadoop各組件有源碼級分析能力。
11、掌握SQL語言,可編寫Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。
12、對計算存儲分離、聯(lián)邦RBF、數(shù)據(jù)湖等架構有深入了解。
13、具有較強的學習能力、邏輯思維能力、溝通能力、團隊協(xié)作能力,抗壓能力強。
14、熟練使用Microsoft Office、XMind、Visio等辦公軟件。