崗位職責
1. 數據全鏈路治理
● 負責搭建從數據采集、清洗到存儲的全流程自動化系統(tǒng)，確保數據時效性、完整性及合規(guī)性。
● 設計反爬蟲對抗策略（如IP池管理、請求頻率控制、驗證碼破解等），突破目標網站限制。
2. 非標數據結構化
● 針對文本、圖片、視頻等非結構化數據，開發(fā)定制化解析算法（如正則表達式、OCR識別、深度學習模型）。
● 構建數據標注體系，為AI模型訓練提供高質量標注樣本（如實體識別、情感分析、語義分類等）。
3. 數據資產運營
● 基于業(yè)務需求（如輿情監(jiān)測、用戶畫像、競品分析），挖掘數據價值并生成可視化報告。
● 通過A/B測試驗證數據策略效果，驅動爬蟲系統(tǒng)與算法模型的迭代優(yōu)化。
4. 技術工具研發(fā)
● 優(yōu)化分布式爬蟲框架（如Scrapy+Kafka+Spark），提升系統(tǒng)吞吐量及穩(wěn)定性。
● 開發(fā)自動化監(jiān)控與報警系統(tǒng)，實時追蹤數據質量及爬蟲運行狀態(tài)。
任職要求
1. 學歷與專業(yè)
● 本科及以上學歷，計算機科學、軟件工程、統(tǒng)計學、信息管理與信息系統(tǒng)等專業(yè)優(yōu)先。
2. 技術能力
● 精通Python/Java/Go，熟悉Scrapy框架及多線程/異步編程。
● 熟練使用數據庫（MySQL/Redis/MongoDB）及數據清洗工具（Pandas/Numpy）。
● 了解HTTP協(xié)議、前端技術（HTML/CSS/JavaScript），具備反爬蟲經驗。
3. 核心能力
● 具備數據敏感度，能快速定位數據質量問題并提出解決方案。
● 熟悉數據隱私合規(guī)要求，確保數據采集符合法律法規(guī)。
4. 軟素質
● 邏輯思維清晰，能拆解復雜業(yè)務需求為可執(zhí)行的技術方案。
● 抗壓能力強，能在數據時效性要求下高效完成工作。
加分項
● 有大規(guī)模分布式爬蟲系統(tǒng)開發(fā)經驗（如日爬取量超千萬級）。
● 熟悉深度學習在數據增強/去噪中的應用（如BERT、GPT等模型）。
● 具備數據安全風控經驗（如數據脫敏、溯源追蹤）。
● 有區(qū)塊鏈/大數據平臺（如Hadoop/Flink）開發(fā)經驗。