崗位職責(zé):
1、完成公司軟件產(chǎn)品的開發(fā)、調(diào)試、單元測試、維護等工作;
2、研究并優(yōu)化爬蟲調(diào)度策略,提高抓取效率、成功率及內(nèi)容覆蓋率;
3、處理反爬機制、優(yōu)化UA、IP池、動態(tài)調(diào)度等策略;
4、監(jiān)控和優(yōu)化爬蟲集群性能,優(yōu)化異常檢測,爬取策略調(diào)優(yōu)等機制;
5、協(xié)助技術(shù)文檔、系統(tǒng)說明書、用戶手冊的編輯工作;
任職要求:
1.統(tǒng)招本科及以上學(xué)歷,計算機或相關(guān)專業(yè);
2.熟悉python,5年及以上經(jīng)驗,3年以上爬蟲經(jīng)驗,能夠獨立完成開發(fā)任務(wù);
3.了解Scrapy、PySpider等常用爬蟲框架;
4.熟練掌握面向?qū)ο缶幊痰睦碚摵蛻?yīng)用,熟悉動態(tài)庫、網(wǎng)絡(luò)編程、多線程編程等常用技術(shù);
5.加分項:具備專業(yè)的反爬策略應(yīng)對能力;