崗位職責
1. 數(shù)據(jù)抓取實現(xiàn)：根據(jù)業(yè)務需求，負責海外電商、社交、新聞類網(wǎng)站的爬蟲開發(fā)與日常維護。
2. 動態(tài)渲染處理：運用自動化工具抓取 JS 渲染的動態(tài)頁面，確保數(shù)據(jù)的完整性。
3. 多媒體采集：負責圖片、音視頻資源的下載及基礎分類存儲，處理簡單的格式兼容性問題。
4. 反爬應對：處理常見的驗證碼、IP 頻率限制及簡單的混淆加密邏輯。
5. 數(shù)據(jù)清洗：對抓取到的非結構化數(shù)據(jù)進行清洗、去重，并導入數(shù)據(jù)庫。
任職要求
1. 工作經(jīng)驗1-3年，學歷不限
2. 核心技術基礎
編程語言：熟練掌握 Python，代碼風格規(guī)范，熟悉多線程、多進程及 asyncio 異步編程。
爬蟲框架：熟練使用 Scrapy、Requests 或 Playwright 等主流爬蟲框架及庫。
數(shù)據(jù)解析：精通 JSONPath、XPath、BeautifulSoup 或正則提取，能高效處理復雜的 HTML 結構。
3. 網(wǎng)頁技術與模擬
自動化工具：熟悉 Playwright 或 Selenium，能夠模擬人工點擊、滾動、翻頁等交互操作。
抓包分析：熟練使用 Chrome DevTools、Fiddler 或 Charles 進行網(wǎng)絡請求分析，定位關鍵數(shù)據(jù)接口。
基礎逆向：了解常見的 JS 加密邏輯（如 MD5、Base64、簡單的時間戳加密），能處理基礎的 Cookie 校驗。
專項與加分項
● 多媒體處理：了解 FFmpeg 或 Pillow，能完成基礎的視頻轉碼、圖片裁剪或封面抓取。
● 海外環(huán)境：有海外代理（如 Bright Data, Oxylabs）使用經(jīng)驗，了解如何在海外服務器上部署爬蟲。
● 存儲能力：熟悉 MongoDB、Redis 或 MySQL，能編寫高效的增量抓取邏輯