国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

400-885-9898
更新于 2025-07-03 01:36:16
智聯(lián)APPAPP
舉報

爬蟲與數(shù)據(jù)工程師

1.2-1.8萬
  • 成都雙流區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

職位描述

PythonScrapyNumPyPandas數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)挖掘
職位概要:
負(fù)責(zé)設(shè)計并實現(xiàn)爬蟲框架、規(guī)范及監(jiān)控體系，對目標(biāo)網(wǎng)站內(nèi)容及附件數(shù)據(jù)進(jìn)行采集。對采集數(shù)據(jù)和文檔進(jìn)行大模型提取的前處理以及后處理，確保數(shù)據(jù)入庫的質(zhì)量和效率。
崗位職責(zé): 1.數(shù)據(jù)采集系統(tǒng)開發(fā)與維護(hù)： （1）開發(fā)維護(hù)目標(biāo)網(wǎng)站數(shù)據(jù)采集程序和框架（如強(qiáng)化版Scrapy），解決登錄驗證、令牌加密、IP/頻率限制、驗證碼等復(fù)雜反爬挑戰(zhàn)； （2）建設(shè)和維護(hù)統(tǒng)一采集任務(wù)管理監(jiān)控平臺（調(diào)度、監(jiān)控、報警、日志、自動補(bǔ)漏）； 2.數(shù)據(jù)預(yù)處理與后處理： （1）對原始數(shù)據(jù)和文檔進(jìn)行預(yù)處理，如自動化分類、格式轉(zhuǎn)換、糾錯等，滿足大模型輸入要求； （2）對大模型輸出數(shù)據(jù)使用算法或模型進(jìn)行后處理，包括自動化校驗與規(guī)范化； 3.數(shù)據(jù)入庫和集成協(xié)作：
（1）與后端團(tuán)隊協(xié)作，設(shè)計和實現(xiàn)數(shù)據(jù)入庫、任務(wù)調(diào)度和推送
任職資格： 1、本科以上學(xué)歷，計算機(jī)、數(shù)學(xué)、數(shù)據(jù)科學(xué)、統(tǒng)計學(xué)相關(guān)專業(yè)優(yōu)先。 2、5年以上工作經(jīng)驗，3年以上Python開發(fā)和數(shù)據(jù)處理經(jīng)驗，擅長數(shù)據(jù)采集（爬蟲），熟悉大模型 技術(shù)核心： 1、精通Python 及生態(tài)，熟悉 pandas, numpy 等數(shù)據(jù)處理框架. 2、熟悉 Scrapy框架、Requests、BeautifulSoup/lxml 3、熟悉 MySQL/PostgreSQL、MongoDB、Redis 的操作、基礎(chǔ)設(shè)計與SQL查詢 4、熟悉Git的使用 5、熟悉Selenium、Playwright 或 Puppeteer等 6、（加分項）了解 rabbitmq, redis, celery 等分布式任務(wù)調(diào)度框架 7、（加分項）了解 python async 或多進(jìn)程多線程高性能開發(fā)

工作地點(diǎn)

雙流區(qū)超圖成都大廈1棟

職位發(fā)布者

蘭女士/人資經(jīng)理

昨日活躍
立即溝通
公司Logo四川業(yè)億辰科技有限公司
四川業(yè)億辰科技有限公司專注于業(yè)務(wù)咨詢、ERP實施（SAP）、電子商務(wù)、移動政務(wù)、移動電商的專業(yè)軟件服務(wù)提供商。公司致力于軟件系統(tǒng)的開發(fā)和應(yīng)用，將高端咨詢和互聯(lián)網(wǎng)+大數(shù)據(jù)進(jìn)行結(jié)合，以優(yōu)秀的創(chuàng)新思維和領(lǐng)先的技術(shù)能力為客戶提供端到端的高端整體解決方案，幫助傳統(tǒng)企業(yè)向互聯(lián)網(wǎng)領(lǐng)域轉(zhuǎn)型升級，實現(xiàn)傳統(tǒng)業(yè)務(wù)向互聯(lián)網(wǎng)互聯(lián)網(wǎng)的快速接入，互通，打造一體化的全渠道營銷供應(yīng)鏈體系。公司產(chǎn)品兼顧傳統(tǒng)企業(yè)信息化市場和互聯(lián)網(wǎng)技術(shù)市場，主要產(chǎn)品方向為兩方面，一方面，通過與企業(yè)信息化服務(wù)商合作，提供專業(yè)的電子商務(wù)、供應(yīng)鏈、大數(shù)據(jù)等技術(shù)產(chǎn)品，補(bǔ)充企業(yè)信息化在互聯(lián)網(wǎng)方面的弱項。另外一方面，以互聯(lián)網(wǎng)為平臺，打造輕量級的供應(yīng)鏈+互聯(lián)網(wǎng)的產(chǎn)品，實現(xiàn)網(wǎng)絡(luò)營銷自主推廣。公司集結(jié)了一批年輕的、有學(xué)識的、具有實干精神的三高（高素質(zhì)、高標(biāo)準(zhǔn)、高學(xué)歷）IT人才，以及一批業(yè)務(wù)知識豐富、項目管理能力強(qiáng)、市場反應(yīng)速度快的行業(yè)技術(shù)專家、項目管理干部及高層次商務(wù)人才。核心團(tuán)隊成員經(jīng)驗豐富，大都擁有10年以上從事企業(yè)信息化咨詢和軟件行業(yè)的工作經(jīng)歷，同時擁有國際、國內(nèi)知名公司工作背景。
公司主頁