国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 12月17日

產(chǎn)品數(shù)據(jù)工程師

1.6-1.9萬
  • 長沙開福區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

雇員點評標簽

  • 工作環(huán)境好
  • 同事很nice
  • 人際關系好
  • 團隊執(zhí)行強
  • 氛圍活躍
  • 免費班車
  • 管理人性化
  • 準時發(fā)工資

職位描述

爬蟲WEB CRAWLINGScrapy計算機軟件
崗位描述:
1. 核心數(shù)據(jù)采集與供給(占比約50%)
? 需求分析與方案設計: 深度對接算法團隊,理解其對于數(shù)據(jù)規(guī)模、類型、格式和質(zhì)量的深層需求,主導設計技術可行、成本可控的數(shù)據(jù)采集整體方案。
? 多源數(shù)據(jù)采集實施:
○ 公開數(shù)據(jù)源: 熟練運用爬蟲技術(Web Crawling/Scraping)從公開網(wǎng)絡、API等渠道高效、合規(guī)地獲取數(shù)據(jù)。
○ 內(nèi)部系統(tǒng)數(shù)據(jù): 設計并實現(xiàn)從公司內(nèi)部業(yè)務系統(tǒng)、日志、傳感器等數(shù)據(jù)源的數(shù)據(jù)同步方案。
○ 定制化采集: 針對特定業(yè)務場景(如圖像、視頻、音頻等),設計并推動實施軟/硬件結合的定制化數(shù)據(jù)采集流程。
? 合規(guī)與質(zhì)量管理: 確保所有數(shù)據(jù)采集活動遵守相關法律法規(guī)(如個人信息保護法)和網(wǎng)站協(xié)議,并建立采集數(shù)據(jù)的質(zhì)量評估標準。
2. 數(shù)據(jù)流水線開發(fā)與處理
? 基于采集的原始數(shù)據(jù),構建高效、穩(wěn)定的數(shù)據(jù)清洗、標注、增強和特征工程流水線,為模型訓練準備好“即食”數(shù)據(jù)。
? 管理和優(yōu)化數(shù)據(jù)ETL/ELT過程,確保數(shù)據(jù)從采集到服務的低延遲和高可靠性。
3. 數(shù)據(jù)資產(chǎn)與外包管理
? 對采集和處理的各類數(shù)據(jù)進行資產(chǎn)化管理和歸檔,建立數(shù)據(jù)目錄和血緣,實現(xiàn)數(shù)據(jù)的全生命周期管理。
? 作為技術負責人,管理與數(shù)據(jù)標注外包團隊的合作,制定精準的標注規(guī)范,并嚴格驗收其數(shù)據(jù)產(chǎn)出質(zhì)量。
任職要求:
? 經(jīng)驗: 5年以上數(shù)據(jù)工程經(jīng)驗,其中必須有豐富的專項數(shù)據(jù)采集經(jīng)驗,有支撐機器學習/深度學習項目的完整數(shù)據(jù)采集案例者優(yōu)先。
? 核心技術能力:
○ 數(shù)據(jù)采集專家: 必須精通Python爬蟲生態(tài)(如Scrapy、Requests、Selenium等),具備處理反爬機制、大規(guī)模分布式爬取、數(shù)據(jù)解析與去重的實戰(zhàn)能力。
○ 編程與數(shù)據(jù)加工: 熟練掌握 Python(Pandas, NumPy) 和 SQL,能夠對采集到的非結構化和結構化數(shù)據(jù)進行高效處理。
○ 流水線與基礎設施: 有使用 Airflow 等工具調(diào)度和監(jiān)控數(shù)據(jù)采集任務的經(jīng)驗。熟悉 Kafka 等消息隊列,了解數(shù)據(jù)采集過程中的實時流處理。
○ 數(shù)據(jù)存儲: 熟悉不同類型數(shù)據(jù)(如文件、圖片、JSON)的存儲方案。

工作地點

長沙開福區(qū)馬欄山視頻文創(chuàng)產(chǎn)業(yè)園

職位發(fā)布者

江先生/招聘顧問

昨日活躍
立即溝通
公司Logo軟通動力信息技術(集團)股份有限公司
軟通動力信息技術(集團)股份有限公司(以下簡稱“軟通動力”)是中國領先的全棧智能化產(chǎn)品與服務提供商,2005年成立于北京,始終堅持創(chuàng)新,致力于成為一家具有全球影響力的科技企業(yè)。公司提供軟件與數(shù)字技術服務、計算產(chǎn)品與智能電子、數(shù)字能源與智算服務以及國際化服務,員工90000人。目前,公司在10余個重要行業(yè)服務超過2600家國內(nèi)外客戶,其中超過230家客戶為世界500強或中國500強企業(yè)。公司位列2024年中國 IT服務市場第一,入選2025年財富中國 500強企業(yè),位列429。軟通動力擁有軟通咨詢、軟通金科、軟通國際、軟通工業(yè)互聯(lián)、軟通華方、機械革命、恒悅等業(yè)務子品牌,北京、江蘇兩大智能制造基地,布局北美、日韓、亞太、中東四大區(qū)域市場,在全球60余個城市構建完善的全球業(yè)務網(wǎng)絡。公司錨定AI前沿,以人工智能工程能力為基礎,科學智能(AI for Science)為引領,布局智能制造、ICT軟硬基礎能力和具身智能等領域,打造新產(chǎn)業(yè)鏈閉環(huán),為客戶提供場景智能(AIAgent)、終端智能(AI Terminal)、計算智能(AIInfra)的全棧智能服務。軟通動力設立30個能力中心,擁有1個國家級工程實驗室,6個省市政府認定的工程、技術實驗室及研發(fā)中心,1個博士后科研工作站,依托全球軟硬生態(tài)協(xié)同創(chuàng)新體系,不斷探索前沿技術應用潛力。公司旗下教育品牌軟通教育,擁有一家全日制本科學院——鄭州西亞斯學院數(shù)字技術產(chǎn)業(yè)學院;全國合作院校700多所,設有70多個校企聯(lián)合人才培養(yǎng)基地,通過校企合作、協(xié)同育人,為社會培養(yǎng)高素質(zhì)應用型人才。軟通動力先后榮獲“2024新經(jīng)濟企業(yè)500強”、“2024年中國軟件和信息技術服務競爭力百強企業(yè)”、“中國軟件產(chǎn)業(yè)40年貢獻企業(yè)”、“2024年信創(chuàng)領軍企業(yè)”、“省級科技進步獎”,入選滬深300、中證A500、創(chuàng)業(yè)板50等核心指數(shù),深交所信息披露最高“A”級評價,連續(xù)三年獲得Wind ESG評級AA級等權威認可;擁有專利380+項、全球軟件工程領域最高級別CMMI V2.0成熟度5級評估認證、信息系統(tǒng)建設和服務能力最高等級——杰出級(CS5)、信息技術服務標準(ITSS)運維能力成熟度一級認證等專業(yè)資質(zhì),支撐公司更優(yōu)質(zhì)的服務體系。
公司主頁