職位描述
1、負(fù)責(zé)爬蟲系統(tǒng)的設(shè)計與開發(fā),核心工作是編寫對應(yīng)java代碼或python腳本;
2、負(fù)責(zé)網(wǎng)頁信息和APP數(shù)據(jù)抽取、清洗、消重等工作,提升平臺的抓取效率;
3、實時監(jiān)控爬蟲進度和預(yù)警處理;
4、與產(chǎn)品部門和上級溝通確保數(shù)據(jù)的準(zhǔn)確性及時性;
5、了解項目需求和設(shè)計,評審數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計;
6、參與需求評審,根據(jù)需求進行數(shù)據(jù)采集工作;
任職要求:
1、本科及以上,計算機相關(guān)專業(yè),5年以上相關(guān)工作經(jīng)驗;
2、Mysql、python、scrapy、selenium、正則表達式、html;
3、熟悉java、python的爬蟲框架;
4、熟練掌握 html、css、xpath、正則表達式、scrapy、selenium、pandas;
5、深入了解 HTTP,TCP/IP 網(wǎng)絡(luò)協(xié)議;
6、熟悉常見的反爬策略,有一定的研究和解決問題的能力;
7、具備相關(guān)IT專業(yè)證書優(yōu)先;