崗位職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品所需網(wǎng)站的信息抓取、解析、清洗等研發(fā)與優(yōu)化工作；
2、負(fù)責(zé)反爬蟲策略研究，代理IP、驗(yàn)證碼識(shí)別等采集支撐服務(wù)建設(shè)；
3、負(fù)責(zé)大規(guī)模文本、圖像數(shù)據(jù)的抓取、抽取，去重、分類，垃圾過濾，質(zhì)量識(shí)別等工作；
4、負(fù)責(zé)公司爬蟲的技術(shù)調(diào)研以及策略優(yōu)化。
任職要求：
1、本科以上學(xué)歷，1年python爬蟲、數(shù)據(jù)清洗相關(guān)經(jīng)驗(yàn);
2、熟練使用scrapy框架,對(duì)其內(nèi)部運(yùn)行機(jī)制有深刻理解;
3、熟練使用selenium、Splash等一種或多種自動(dòng)化工具;
4、熟練使用python多進(jìn)程、多線程;
5、熟悉MYSQL、MongoDB、Redis、Es等數(shù)據(jù)庫的使用;
6、熟悉Fiddler等一種或多種抓包工具;
7、熟練使用正則、xpath等數(shù)據(jù)解析庫;
8、熟悉常見的反爬技術(shù)（驗(yàn)證碼破解、IP代理、JS解密,app逆向、指紋）;
（以下加分項(xiàng)）
9、有Hadoop生態(tài)相關(guān)應(yīng)用經(jīng)驗(yàn)者優(yōu)先錄用;
10、使用或開發(fā)過爬蟲監(jiān)控系統(tǒng)者優(yōu)先錄用;
11、對(duì)前后端有一定經(jīng)驗(yàn)者優(yōu)先錄用。