崗位職責(zé)
1.負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)
2.負(fù)責(zé)海量數(shù)據(jù)的爬取、清洗、解析、入庫(kù);
3.針對(duì)需要的數(shù)據(jù),尋找網(wǎng)站或app內(nèi)可用的接口
4.研究主流網(wǎng)站和app反爬機(jī)制,尋找應(yīng)對(duì)方案;
5.不斷的學(xué)習(xí)研究行業(yè)新技術(shù),提升業(yè)務(wù)能力,并作團(tuán)隊(duì)分享
6.負(fù)責(zé)js、Android、IOS應(yīng)用的逆向工作,能正向還原關(guān)鍵算法(* 高階)
崗位要求
1.大專及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2.熟悉linux開(kāi)發(fā)環(huán)境,熟練掌握java或python編程語(yǔ)言,熟悉js語(yǔ)言;
3.熟練掌握http協(xié)議,xpath、csspath、正則表達(dá)式,有使用scrapy經(jīng)驗(yàn)優(yōu)先;
4.有redis、rabbitmq、kafka使用經(jīng)驗(yàn);
5.熟悉selenium或Puppeteerr,appium或airtest;
6.熟悉常用反爬手段及其對(duì)應(yīng)方法、技巧;
7.有良好的責(zé)任心、溝通能力、學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作精神;
8.熟悉常用js防護(hù)手段及其對(duì)應(yīng)的分析、調(diào)試技巧優(yōu)先;
9.熟悉Android或IOS逆向技術(shù)優(yōu)先;