工作職責(zé)
1. 負(fù)責(zé)多源異構(gòu)數(shù)據(jù)（結(jié)構(gòu)化/非結(jié)構(gòu)化）的采集方案設(shè)計(jì)與落地，覆蓋API接口、日志、數(shù)據(jù)庫(kù)等多種數(shù)據(jù)源。
2. 搭建數(shù)據(jù)采集監(jiān)控體系，實(shí)時(shí)跟蹤采集任務(wù)的運(yùn)行狀態(tài)，及時(shí)排查并解決數(shù)據(jù)延遲、丟失等異常問(wèn)題。
3. 優(yōu)化采集流程與算法，提升數(shù)據(jù)采集的效率與準(zhǔn)確性，保障數(shù)據(jù)質(zhì)量符合業(yè)務(wù)需求。
4. 與業(yè)務(wù)團(tuán)隊(duì)協(xié)作，理解數(shù)據(jù)需求，輸出標(biāo)準(zhǔn)化的數(shù)據(jù)采集規(guī)范與文檔。
任職要求
1. 本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程等相關(guān)專(zhuān)業(yè)，基礎(chǔ)扎實(shí)。
2. 掌握至少一種數(shù)據(jù)采集工具（如Flume、Logstash、Sqoop）或編程語(yǔ)言（Python/Java），具備腳本開(kāi)發(fā)能力。
3. 熟悉數(shù)據(jù)庫(kù)原理，能熟練操作MySQL、MongoDB等常見(jiàn)數(shù)據(jù)庫(kù)，了解SQL優(yōu)化。
4. 具備數(shù)據(jù)清洗、轉(zhuǎn)換的實(shí)戰(zhàn)經(jīng)驗(yàn)，能獨(dú)立處理臟數(shù)據(jù)、缺失值等問(wèn)題。
5. 有大規(guī)模數(shù)據(jù)采集項(xiàng)目經(jīng)驗(yàn)者優(yōu)先，具備分布式系統(tǒng)理解者優(yōu)先。