崗位職責:
1、精通Python:熟練掌握Python編程語言及其核心特性(如面向?qū)ο?、多線程/多進程/協(xié)程)。
2、爬蟲框架與庫:精通至少一種主流 Python 爬蟲框架，如Scrapy),熟悉 Requests, BeautifulSoup,Selenium,Playwright,Pyppeteer 等常用庫。
3、分析并應(yīng)對網(wǎng)站反爬機制(如IP封鎖、驗證碼、User-Agent驗證、動態(tài)加載)，通過代理池構(gòu)建、驗證碼識別、模擬覽器行為等技術(shù)優(yōu)化爬蟲策略，降低采集風險。
4、數(shù)據(jù)提取與處理:熟練掌握XPath,CSS Selectors,正則表達式等數(shù)據(jù)提取技術(shù);具備優(yōu)秀的數(shù)據(jù)清洗、抽取和結(jié)構(gòu)化能力。
5、數(shù)據(jù)庫:熟練掌握SQL和NOSQL數(shù)據(jù)庫產(chǎn)品(如MySQL,MongoDB,Redis等)，能夠進行高效的數(shù)據(jù)存儲和查詢。
6、基礎(chǔ)環(huán)境:熟悉Linux/Unix操作系統(tǒng)常用命令;熟悉Git等版本控制工具。
任職要求：
1、5年以上工作經(jīng)驗，有大規(guī)模分布式爬蟲系統(tǒng)設(shè)計和開發(fā)經(jīng)驗；
2、熟悉Docker, Kubernetes等容器化技術(shù)。；
3、有JavaScript逆向工程經(jīng)驗。；
4、熟悉消息隊列(如Kafka,RabbitMQ) ；
5、有大數(shù)據(jù)處理經(jīng)驗(如Hadoop,Spark) 計算機科學、軟件工程、信息技術(shù)或相關(guān)專業(yè)優(yōu)先。