工作職責(zé)：
1.負(fù)責(zé)Web網(wǎng)頁(yè)數(shù)據(jù)及接口的抓取工作，包括動(dòng)態(tài)網(wǎng)頁(yè)、API接口以及小程序的數(shù)據(jù)抓取，確保數(shù)據(jù)抓取的準(zhǔn)確性和時(shí)效性。
2.開(kāi)發(fā)并維護(hù)小程序接口抓取系統(tǒng)，優(yōu)化抓取鏈路，提升數(shù)據(jù)獲取效率和質(zhì)量。
3. 開(kāi)發(fā)、維護(hù)現(xiàn)有爬蟲(chóng)系統(tǒng)，包括調(diào)度、抓取、維護(hù)、驗(yàn)證等爬蟲(chóng)工作。
4. 對(duì)不同網(wǎng)站的防御機(jī)制和反爬蟲(chóng)策略進(jìn)行深入研究，提煉關(guān)鍵技術(shù)點(diǎn)。
5. 能夠解決協(xié)議反爬、風(fēng)控、人機(jī)識(shí)別等高級(jí)問(wèn)題。
6. 負(fù)責(zé)爬蟲(chóng)技術(shù)難點(diǎn)的攻克。
7.撰寫(xiě)相關(guān)技術(shù)文檔，確保代碼和系統(tǒng)具有良好的可維護(hù)性。
任職要求：
1. 對(duì)Python和計(jì)算機(jī)網(wǎng)絡(luò)有深入理解，能夠熟練運(yùn)用多線程技術(shù)，掌握主流爬中框架，具備小程序抓取相關(guān)經(jīng)驗(yàn)；
2. 精通JavaScript逆向工程、虛擬機(jī)、代碼混淆、抽象語(yǔ)法樹(shù)(AST)等技術(shù)，并有實(shí)際的JavaScript逆向和分析，能獨(dú)立完成小程序包解析、反編譯及接口逆向；
3. 熟悉常見(jiàn)反爬機(jī)制，驗(yàn)證碼識(shí)別，IP代理池應(yīng)用lp池、headers認(rèn)證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路，并處理TLS/HTTP2等協(xié)議流量識(shí)別、IP識(shí)別問(wèn)題；
5. 了解基本的機(jī)器學(xué)習(xí)算法，可解決一些基礎(chǔ)的圖像驗(yàn)證碼識(shí)別、人機(jī)對(duì)抗等問(wèn)題；
6. 熟悉Redis、MySQL、redis、git等常用中間件使用；