国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 12月24日

高級(jí)爬蟲工程師

8000-16000元
  • 廣州天河區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招2人

職位描述

PythonGO反爬蟲爬蟲開發(fā)數(shù)據(jù)采集數(shù)據(jù)清洗分布式爬蟲ScrapyrequestsDjango電子商務(wù)
崗位職責(zé):
1. 負(fù)責(zé)海外電商平臺(tái)數(shù)據(jù)抓取處理(采集、清洗、入庫(kù)全流程)
2. 參與爬蟲系統(tǒng)開發(fā)與優(yōu)化,搭建高可用數(shù)據(jù)采集體系
3. 協(xié)調(diào)產(chǎn)品/運(yùn)營(yíng)團(tuán)隊(duì)推進(jìn)項(xiàng)目落地,把控開發(fā)進(jìn)度與質(zhì)量
4. 編寫規(guī)范技術(shù)文檔,設(shè)計(jì)可復(fù)用開發(fā)模塊
5. 快速適應(yīng)業(yè)務(wù)需求變化,承擔(dān)專項(xiàng)技術(shù)攻堅(jiān)
6.設(shè)計(jì)智能代理池+動(dòng)態(tài)IP切換策略,解決目標(biāo)網(wǎng)站IP封鎖問題,爬蟲穩(wěn)定性提升至99%。
7.基于Scrapy-Redis開發(fā)境外電商促銷信息爬蟲框架,支持Amazon、eBayShopify等20+電商平臺(tái),日均抓取數(shù)據(jù)500萬(wàn)+條。
任職要求:
1. 計(jì)算機(jī)相關(guān)專業(yè)
2. 精通Python,熟悉Scrapy框架及反爬破解策略
3. 具備MySQL/Redis實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉Linux開發(fā)環(huán)境,Scrapy-Redis+ Kafka + Spark Streaming
4. 有IP代理/驗(yàn)證碼破解等反反爬實(shí)戰(zhàn)能力者優(yōu)先
5. 邏輯清晰+抗壓強(qiáng)+自驅(qū)力強(qiáng),具備技術(shù)文檔撰寫能力
6.實(shí)現(xiàn)Cloudflare反爬繞過,支持自動(dòng)更新Cookie+UserAgent,優(yōu)化數(shù)據(jù)流,入庫(kù)延遲<1分鐘。

工作地點(diǎn)

廣州天河區(qū)天河軟件園鳳凰園(鳳凰園區(qū))201-203室

職位發(fā)布者

譚女士/人事專員

今日活躍
立即溝通
廣州全芃信息技術(shù)有限公司
全芃是?家全球?qū)з?gòu)服務(wù)公司,我們以技術(shù)和數(shù)據(jù)為驅(qū)動(dòng),以服務(wù)??為?標(biāo),采?科技的?段,努?成為全球市場(chǎng)最好的導(dǎo)購(gòu)服務(wù)商,幫助消費(fèi)者購(gòu)物省錢、省?、省時(shí)間,持續(xù)改善購(gòu)物體驗(yàn)。全芃更是?家科技公司,互聯(lián)?和信息技術(shù)給我們帶來了機(jī)會(huì),讓我們能夠服務(wù)于全球消費(fèi)者,我們要充分利?科學(xué)和技術(shù)來幫助消費(fèi)者解決問題,提升購(gòu)物體驗(yàn)。
公司主頁(yè)