国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 12月27日

爬蟲工程師

3000-4000元
  • 北京昌平區(qū)
  • 1-3年
  • 大專
  • 兼職/臨時(shí)
  • 招1人

職位描述

Python數(shù)據(jù)清洗爬蟲開發(fā)反爬蟲分布式爬蟲
崗位職責(zé)
1.參與爬蟲項(xiàng)目需求分析,設(shè)計(jì)高效、穩(wěn)定的爬蟲架構(gòu)(含分布式爬蟲方案); 2.開發(fā)、調(diào)試各類網(wǎng)站 / APP / 接口爬蟲,熟練處理 HTML、JSON、XML 等數(shù)據(jù)格式,通過(guò) JS 逆向、APP 逆向解析加密參數(shù)與請(qǐng)求邏輯,解決復(fù)雜反爬機(jī)制(如動(dòng)態(tài)加密、簽名驗(yàn)證、驗(yàn)證碼、IP 封鎖等);
3.負(fù)責(zé)數(shù)據(jù)抓取、解析、清洗、去重、存儲(chǔ)全流程實(shí)現(xiàn),保障數(shù)據(jù)準(zhǔn)確性與時(shí)效性;
4.維護(hù)現(xiàn)有爬蟲系統(tǒng),監(jiān)控運(yùn)行狀態(tài),優(yōu)化爬取效率、穩(wěn)定性與資源占用(如并發(fā)控制、斷點(diǎn)續(xù)爬、異常重試);
5.調(diào)研新型爬蟲技術(shù)、逆向工程方法與反爬應(yīng)對(duì)方案,引入行業(yè)最佳實(shí)踐,提升團(tuán)隊(duì)技術(shù)能力;
6.配合數(shù)據(jù)分析師、產(chǎn)品經(jīng)理完成數(shù)據(jù)需求交付,解決數(shù)據(jù)獲取過(guò)程中的突發(fā)技術(shù)問(wèn)題(含逆向相關(guān)故障排查)。
任職要求 :
1.大專及以上學(xué)歷,計(jì)算機(jī)、軟件工程、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)優(yōu)先,
2.1-3 年爬蟲開發(fā)經(jīng)驗(yàn)(優(yōu)秀應(yīng)屆生需具備逆向相關(guān)實(shí)踐經(jīng)歷);
3.精通 Python 語(yǔ)言,熟練使用爬蟲框架與工具;
4.熟悉 HTTP/HTTPS 協(xié)議、RESTful API,掌握 cookie、session、token 認(rèn)證機(jī)制,能獨(dú)立分析接口請(qǐng)求邏輯與加密流程;
5.具備扎實(shí)的逆向工程能力:熟練掌握 JS 逆向(如混淆代碼還原、加密函數(shù)破解)、APP 抓包與逆向(Fiddler/Charles 抓包、Smali 代碼分析)、常見加密算法破解(AES、RSA、MD5 簽名等);
6.具備反爬策略實(shí)戰(zhàn)經(jīng)驗(yàn),如 IP 池構(gòu)建、UA 池輪換、驗(yàn)證碼識(shí)別(OCR)、滑動(dòng)驗(yàn)證破解、動(dòng)態(tài)頁(yè)面(JS 渲染)爬取等; 熟悉至少一種數(shù)據(jù)庫(kù)(MySQL、MongoDB、Redis 等),能熟練進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢與優(yōu)化;
了解分布式爬蟲架構(gòu)設(shè)計(jì),具備高并發(fā)、大規(guī)模數(shù)據(jù)爬取場(chǎng)景的處理能力者優(yōu)先;
7.具備良好的代碼規(guī)范、問(wèn)題排查能力,能獨(dú)立解決爬蟲與逆向開發(fā)中的各類技術(shù)難點(diǎn);
8.責(zé)任心強(qiáng)、溝通協(xié)作順暢,有較強(qiáng)的學(xué)習(xí)能力和抗壓能力,能適應(yīng)業(yè)務(wù)快速迭代。
加分項(xiàng)
有過(guò)電商、資訊、短視頻、企業(yè)信息等垂直領(lǐng)域爬蟲 + 逆向結(jié)合的項(xiàng)目經(jīng)驗(yàn);
熟悉 Docker、K8s 容器化部署,具備爬蟲自動(dòng)化部署與監(jiān)控經(jīng)驗(yàn);
掌握安卓 /iOS 逆向工程實(shí)戰(zhàn)經(jīng)驗(yàn),能獨(dú)立分析 APP 加密協(xié)議、使用 Frida/Xposed 等工具 hook 調(diào)試;
具備數(shù)據(jù)清洗、數(shù)據(jù)可視化相關(guān)經(jīng)驗(yàn),熟悉 Pandas、Matplotlib 等庫(kù); 有過(guò)復(fù)雜加密場(chǎng)景(如多層簽名、設(shè)備指紋驗(yàn)證)的逆向突破案例。

工作地點(diǎn)

北京昌平區(qū)龍域中心

職位發(fā)布者

秦女士/HRBP

今日活躍
立即溝通
公司Logo北京益賢智創(chuàng)科技有限公司
益賢智創(chuàng)成立于2025年,總部位于北京,并在廣州廣東、安徽合肥等地方,設(shè)立分支機(jī)構(gòu)和辦事處。公司主要是企業(yè)服務(wù),隨著目前ai的發(fā)展,也會(huì)重點(diǎn)服務(wù)于ai等一些公司,作為合作伙伴;全鏈路服務(wù)體系,為各行各業(yè)的智能化轉(zhuǎn)型與升級(jí)注入動(dòng)力。
公司主頁(yè)