職位描述
Python數(shù)據(jù)挖掘數(shù)據(jù)采集云計算/大數(shù)據(jù)咨詢服務
【崗位職責】
1、系統(tǒng)設計與開發(fā)：運維現(xiàn)有的系統(tǒng)，編寫高效的Python爬蟲腳本，從指定的公開網(wǎng)站、API接口、APP、微信公號等渠道，自動化抓取多源數(shù)據(jù)；
2、數(shù)據(jù)處理與清洗： 對爬取到的原始數(shù)據(jù)進行清洗、去重、格式化、轉換和集成，確保數(shù)據(jù)的準確性和一致性，使其滿足報告研究人員的使用；
3、技術難題攻堅： 解決爬取過程中遇到的各種技術挑戰(zhàn)，包括但不限于動態(tài)渲染（JS）、驗證碼識別、IP封禁、API限制等。
4、質量與效率： 建立數(shù)據(jù)質量監(jiān)控體系，持續(xù)優(yōu)化爬蟲策略和系統(tǒng)架構，提升數(shù)據(jù)采集的覆蓋度、及時性和效率。
5、合規(guī)與倫理： 嚴格遵守Robots協(xié)議、數(shù)據(jù)安全法與版權法規(guī)，確保所有數(shù)據(jù)采集活動的合法合規(guī)性。
【技術要求】
1、精通 Python 編程語言，熟練使用Python、Java、php語言，掌握 Scrapy, Requests, Selenium/Playwright 等主流爬蟲框架和工具。
2、深刻理解HTTP/HTTPS協(xié)議，熟悉Web前端技術（HTML, CSS, JavaScript）。
3、具備處理復雜反爬機制（如IP速率限制、驗證碼、動態(tài)加載、用戶行為檢測、加密參數(shù)等）的實戰(zhàn)經(jīng)驗。
4、熟悉至少一種數(shù)據(jù)庫（如 MySQL, PostgreSQL, MongoDB, Redis）。
5、具備優(yōu)秀的數(shù)據(jù)清洗和處理能力，熟悉 Pandas, NumPy 等工具。
6、了解分布式爬蟲原理，有使用 Scrapy-Redis, Celery 等工具的經(jīng)驗。
符合條件且有相關經(jīng)驗的人員也可兼職錄用本工作崗位
工作地點：南寧市青秀區(qū)金洲路18-1號疾控中心小區(qū)1棟B單元3103室
總部地址：北京市西城區(qū)天橋南大街1號天橋藝術大廈B1-104室
1、系統(tǒng)設計與開發(fā)：運維現(xiàn)有的系統(tǒng)，編寫高效的Python爬蟲腳本，從指定的公開網(wǎng)站、API接口、APP、微信公號等渠道，自動化抓取多源數(shù)據(jù)；
2、數(shù)據(jù)處理與清洗： 對爬取到的原始數(shù)據(jù)進行清洗、去重、格式化、轉換和集成，確保數(shù)據(jù)的準確性和一致性，使其滿足報告研究人員的使用；
3、技術難題攻堅： 解決爬取過程中遇到的各種技術挑戰(zhàn)，包括但不限于動態(tài)渲染（JS）、驗證碼識別、IP封禁、API限制等。
4、質量與效率： 建立數(shù)據(jù)質量監(jiān)控體系，持續(xù)優(yōu)化爬蟲策略和系統(tǒng)架構，提升數(shù)據(jù)采集的覆蓋度、及時性和效率。
5、合規(guī)與倫理： 嚴格遵守Robots協(xié)議、數(shù)據(jù)安全法與版權法規(guī)，確保所有數(shù)據(jù)采集活動的合法合規(guī)性。
【技術要求】
1、精通 Python 編程語言，熟練使用Python、Java、php語言，掌握 Scrapy, Requests, Selenium/Playwright 等主流爬蟲框架和工具。
2、深刻理解HTTP/HTTPS協(xié)議，熟悉Web前端技術（HTML, CSS, JavaScript）。
3、具備處理復雜反爬機制（如IP速率限制、驗證碼、動態(tài)加載、用戶行為檢測、加密參數(shù)等）的實戰(zhàn)經(jīng)驗。
4、熟悉至少一種數(shù)據(jù)庫（如 MySQL, PostgreSQL, MongoDB, Redis）。
5、具備優(yōu)秀的數(shù)據(jù)清洗和處理能力，熟悉 Pandas, NumPy 等工具。
6、了解分布式爬蟲原理，有使用 Scrapy-Redis, Celery 等工具的經(jīng)驗。
符合條件且有相關經(jīng)驗的人員也可兼職錄用本工作崗位
工作地點：南寧市青秀區(qū)金洲路18-1號疾控中心小區(qū)1棟B單元3103室
總部地址：北京市西城區(qū)天橋南大街1號天橋藝術大廈B1-104室
職位福利：周末雙休、每年多次調薪、加班補助、節(jié)日福利、餐補、年底雙薪、員工旅游、帶薪年假
職位亮點：全國第一的演藝、音樂和文旅大數(shù)據(jù)機構！
工作地點
廣西壯族自治區(qū)疾病預防控制中心南寧市青秀區(qū)金洲路18-1號疾控中心小區(qū)1棟B單元3103室
相似職位
查看更多相似職位
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
毛先生/總經(jīng)理
三日內活躍立即溝通
北京道略文旅科技有限公司北京道略文旅科技有限公司成立于2008年，是中國專業(yè)的文旅產業(yè)、演藝產業(yè)、音樂產業(yè)研究咨詢機構和內容服務平臺。道略文旅將全部人財物力量聚焦在文旅、演藝和音樂等文化產業(yè)少數(shù)領域上，通過“一厘米寬度，一公里深度”的專注和鉆研精神，努力成為細分領域最為專業(yè)的研究和咨詢機構，成為“細分龍頭”和“隱形冠軍”。道略文旅下設子公司有：成都道略公司、上海道略公司、深圳道略公司、廣西南寧道略公司2獨家數(shù)據(jù)庫：13年來持續(xù)對旅游、演藝、音樂、戲劇等產業(yè)數(shù)據(jù)進行監(jiān)測和抓取，形成了自己獨有的數(shù)據(jù)庫，連續(xù)多年成功為政府和行業(yè)客戶提供具有前瞻性和創(chuàng)新性的咨詢方案，并通過定期發(fā)布文旅、演藝、音樂等產業(yè)指南和專題研究報告。2行業(yè)頂尖自媒體平臺：構建了覆蓋演藝、音樂、文旅、體育等領域的媒體矩陣，其中“道略演藝”“道略音樂產業(yè)”覆蓋8萬專業(yè)從業(yè)者，成為演藝、音樂行業(yè)最大的自媒體平臺，“道略文旅”“音樂人攻略”“場館經(jīng)理人”等公眾號也在行業(yè)內迅猛發(fā)展。2國家省市級政府咨詢：為文化和旅游部、上海文廣新局、成都市政府、天府新區(qū)、海淀區(qū)、西城區(qū)等50余個政府相關部門提供文旅產業(yè)規(guī)劃、旅游演藝定位策劃、城市演藝、音樂項目研究和文旅內容資源整合、項目導入等服務。2大中型文旅企業(yè)咨詢:成立至今，已為萬達集團、恒大集團、金融街建設集團、新奧集團、長江傳媒集團等近60家大中型企業(yè)提供演出、音樂、文化市場研究與分析、產業(yè)規(guī)劃、演出場館定位分析、演出票房數(shù)據(jù)監(jiān)測服務。2最專業(yè)行業(yè)活動：每年舉辦文旅、演藝、音樂產業(yè)博覽會和論壇等，搭建了專業(yè)交流分享的平臺，獲得了政府部門、行業(yè)機構的全力支持。博覽會全方位促進中國演藝、音樂、文化旅游產業(yè)的互動溝通，進一步推動中國文化產業(yè)升級發(fā)展，促進北京乃至全國的文化體制改革、促進文化產業(yè)的繁榮發(fā)展。
公司主頁