国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 12月19日

數(shù)據采集開發(fā)工程師

1-2萬
  • 北京海淀區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據爬取新媒體云計算/大數(shù)據互聯(lián)網
主要負責互聯(lián)網的公開信息進行采集的工作,主要是需要接口分析、抓包代理、逆向工程等等。詳情見崗責。
【崗位職責】
1、負責多平臺信息(視頻、音頻、圖片、文章等)爬取,包括APP端采集,agent相關數(shù)據采集等。
2、負責設計和開發(fā)分布式網絡爬蟲系統(tǒng)、技術選型。
3、持續(xù)對系統(tǒng)進行架構改造和優(yōu)化,提升系統(tǒng)的穩(wěn)定性與可擴展性,保障系統(tǒng)穩(wěn)定,高效,安全。
4、參與數(shù)據采集平臺架構設計和開發(fā)工作。
【崗位要求】
1、3年及以上網絡爬蟲相關、采集平臺、rpa相關開發(fā)經驗。
2、熟練掌握Python編程語言及常用采集框架,深入了解框架提供的特性及其實現(xiàn)原理細節(jié)。
3、熟練掌握PC/Android自動化采集技術,如playwright,selenium、dirssionpage等。
4、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗證碼、混淆加密,頁面跳轉等難點攻克,提升網頁抓取的效率和質量。
5、熟悉風控逆向相關技術,國內外驗證碼破解等;熟悉如何TLS 指紋、逆向、混淆、JS補環(huán)境等技術,以及各類加密算法,譬如(AES、RSA、Base64,Md5、SHA 系列等)。
6、具有良好的溝通能力、學習能力、分析解決問題能力,有較強的責任心、自驅力和成長型思維;
7、有長期規(guī)模化采集系統(tǒng)建設經驗優(yōu)先;有國外人機驗證碼破解經驗優(yōu)先;有computer use/phone use等agent相關數(shù)據采集經驗優(yōu)先。

工作地點

北京智視數(shù)策科技發(fā)展有限公司-海淀區(qū)海泰大廈17F1741室

職位發(fā)布者

韓宛辰/HRBP

昨日活躍
立即溝通
公司Logo北京智視數(shù)策科技發(fā)展有限公司
北京智視數(shù)策科技發(fā)展有限公司(VDI)成立于2019年,公司立足于廣播電視與網絡視聽行業(yè),是一家主要為政府客戶和互聯(lián)網客戶提供網絡視聽節(jié)目內容監(jiān)管解決方案的專業(yè)技術服務公司。公司團隊累計中標政府部門 150個項目,具有 10年以上政府部門服務經驗,從音視頻內容監(jiān)管、數(shù)據、技術軟件提供服務閉環(huán)業(yè)態(tài)產品。內容涉及廣播電視與網絡視聽節(jié)目內容監(jiān)測、風險預警、輿情報告、預警報告、宣傳矩陣搭建、數(shù)據平臺搭建、監(jiān)測平臺搭建、政府數(shù)據結構化、大數(shù)據分析解決方案等。主要服務客戶:中宣部、國家廣電總局、北京市政府、北京廣電局,上海廣電局等 15個客戶單位,30余個部門?;ヂ?lián)網客戶:抖音、愛奇藝、快手、微博、B站,滴滴等。
公司主頁