国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 12月4日

ETL開發(fā)

1.4-2萬
  • 廣州番禺區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

雇員點評標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 人際關(guān)系好
  • 團(tuán)隊執(zhí)行強
  • 氛圍活躍
  • 免費班車
  • 管理人性化
  • 準(zhǔn)時發(fā)工資

職位描述

數(shù)據(jù)開發(fā)FlinkHIVE SQLAIRFLOWPython引擎開發(fā)IT服務(wù)
一、核心職責(zé):
1、實時數(shù)據(jù)處理:
(1)使用 Java 編寫 Flink 數(shù)據(jù)處理邏輯,熟練運用 Flink SQL 進(jìn)行流式數(shù)據(jù)開發(fā)。
(2)負(fù)責(zé)處理日均百億級別的車輛實時數(shù)據(jù)流(如車輛狀態(tài)、軌跡、告警等),進(jìn)行實時清洗、聚合、風(fēng)控判斷。
(3)將實時計算結(jié)果輸出到 StarRocks、Redis 等查詢引擎和緩存中,保障低延遲數(shù)據(jù)服務(wù)。
2、離線數(shù)據(jù)倉庫:
(1)使用 Spark 及 Hive SQL 構(gòu)建和維護(hù)車聯(lián)網(wǎng)離線數(shù)據(jù)倉庫。
(2)基 Hadoop 生態(tài)(包括 Tez 和 MapReduce 引擎)進(jìn)行大規(guī)模數(shù)據(jù)的ETL開發(fā)與性能調(diào)優(yōu)。
(3)了解presto、impala、hive、yarn等hadoop相關(guān)組件
(4)負(fù)責(zé)主題域模型設(shè)計、數(shù)據(jù)分層(ODS/DWD/DWS/ADS),支撐復(fù)雜的離線指標(biāo)分析需求。
(5)有熟練使用調(diào)度工具的經(jīng)驗,熟悉各類抽數(shù)工具:sqoop、kettle、datax或者其他
3、數(shù)據(jù)服務(wù)與接口開發(fā):
(1)使用 Java 開發(fā)高性能、高可用的數(shù)據(jù)查詢接口,為前端應(yīng)用、業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。
(2)整合 MySQL(元數(shù)據(jù)/業(yè)務(wù)數(shù)據(jù))、Redis(高速緩存)、StarRocks(OLAP查詢)等多種數(shù)據(jù)源,優(yōu)化查詢性能。
4、技術(shù)架構(gòu)與優(yōu)化:
(1)負(fù)責(zé) Kafka 集群的數(shù)據(jù)流轉(zhuǎn)架構(gòu)設(shè)計,確保數(shù)據(jù)管道的穩(wěn)定性和吞吐量。
(2)持續(xù)監(jiān)控和優(yōu)化整個數(shù)據(jù)鏈路的性能,解決生產(chǎn)環(huán)境中的技術(shù)難題。
二、職位要求
【必備條件】
1、經(jīng)驗與技能:
(1)計算機相關(guān)專業(yè)本科及以上學(xué)歷,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗。
(2)精通 Java 語言,具備良好的編程規(guī)范和工程化能力,能夠編寫高質(zhì)量、高性能的代碼。
(3)精通 Flink 實時計算框架,具有使用 Java API(非僅SQL)進(jìn)行復(fù)雜業(yè)務(wù)開發(fā)的經(jīng)驗,同時熟練掌握 Flink SQL。
(4)精通 Spark 和 Hive SQL,有基于 Hadoop(YARN)生態(tài)進(jìn)行大規(guī)模離線數(shù)據(jù)處理的實戰(zhàn)經(jīng)驗,了解 Tez 和 MapReduce 引擎原理。
(5)熟練使用 MySQL、Redis,理解其核心原理與應(yīng)用場景。
(6)熟練使用 Kafka,理解其架構(gòu)、吞吐量與可靠性保障機制。
(7)具備優(yōu)秀的 SQL 性能調(diào)優(yōu)能力,能夠解決數(shù)據(jù)傾斜等復(fù)雜問題。
2、項目經(jīng)驗:
(1)有處理日均 百億級別 數(shù)據(jù)量的成功項目經(jīng)驗,具備海量數(shù)據(jù)下的系統(tǒng)架構(gòu)設(shè)計和性能優(yōu)化能力。
(2)具備車聯(lián)網(wǎng)、物聯(lián)網(wǎng)或類似高并發(fā)、大數(shù)據(jù)量業(yè)務(wù)場景的項目背景者優(yōu)先。
【優(yōu)先考慮】
3.1 對 iceberg, paimon, doris, starrocks有實際使用和性能優(yōu)化經(jīng)驗者優(yōu)先。
3.2 理解 Lambda 或 Kappa 架構(gòu),并有實際項目落地經(jīng)驗者優(yōu)先。
3.3 有大數(shù)據(jù)平臺任務(wù)調(diào)度系統(tǒng)(如 DolphinScheduler, Airflow)開發(fā)或管理經(jīng)驗者優(yōu)先。
3.4 具備一定的前端知識,能夠獨立完成簡單數(shù)據(jù)報表開發(fā)者優(yōu)先。

工作地點

廣州番禺區(qū)廣汽研究院

職位發(fā)布者

余春香/招聘顧問

剛剛活躍
立即溝通
公司Logo軟通動力信息技術(shù)(集團(tuán))股份有限公司
軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱“軟通動力”)是中國領(lǐng)先的全棧智能化產(chǎn)品與服務(wù)提供商,2005年成立于北京,始終堅持創(chuàng)新,致力于成為一家具有全球影響力的科技企業(yè)。公司提供軟件與數(shù)字技術(shù)服務(wù)、計算產(chǎn)品與智能電子、數(shù)字能源與智算服務(wù)以及國際化服務(wù),員工90000人。目前,公司在10余個重要行業(yè)服務(wù)超過2600家國內(nèi)外客戶,其中超過230家客戶為世界500強或中國500強企業(yè)。公司位列2024年中國 IT服務(wù)市場第一,入選2025年財富中國 500強企業(yè),位列429。軟通動力擁有軟通咨詢、軟通金科、軟通國際、軟通工業(yè)互聯(lián)、軟通華方、機械革命、恒悅等業(yè)務(wù)子品牌,北京、江蘇兩大智能制造基地,布局北美、日韓、亞太、中東四大區(qū)域市場,在全球60余個城市構(gòu)建完善的全球業(yè)務(wù)網(wǎng)絡(luò)。公司錨定AI前沿,以人工智能工程能力為基礎(chǔ),科學(xué)智能(AI for Science)為引領(lǐng),布局智能制造、ICT軟硬基礎(chǔ)能力和具身智能等領(lǐng)域,打造新產(chǎn)業(yè)鏈閉環(huán),為客戶提供場景智能(AIAgent)、終端智能(AI Terminal)、計算智能(AIInfra)的全棧智能服務(wù)。軟通動力設(shè)立30個能力中心,擁有1個國家級工程實驗室,6個省市政府認(rèn)定的工程、技術(shù)實驗室及研發(fā)中心,1個博士后科研工作站,依托全球軟硬生態(tài)協(xié)同創(chuàng)新體系,不斷探索前沿技術(shù)應(yīng)用潛力。公司旗下教育品牌軟通教育,擁有一家全日制本科學(xué)院——鄭州西亞斯學(xué)院數(shù)字技術(shù)產(chǎn)業(yè)學(xué)院;全國合作院校700多所,設(shè)有70多個校企聯(lián)合人才培養(yǎng)基地,通過校企合作、協(xié)同育人,為社會培養(yǎng)高素質(zhì)應(yīng)用型人才。軟通動力先后榮獲“2024新經(jīng)濟企業(yè)500強”、“2024年中國軟件和信息技術(shù)服務(wù)競爭力百強企業(yè)”、“中國軟件產(chǎn)業(yè)40年貢獻(xiàn)企業(yè)”、“2024年信創(chuàng)領(lǐng)軍企業(yè)”、“省級科技進(jìn)步獎”,入選滬深300、中證A500、創(chuàng)業(yè)板50等核心指數(shù),深交所信息披露最高“A”級評價,連續(xù)三年獲得Wind ESG評級AA級等權(quán)威認(rèn)可;擁有專利380+項、全球軟件工程領(lǐng)域最高級別CMMI V2.0成熟度5級評估認(rèn)證、信息系統(tǒng)建設(shè)和服務(wù)能力最高等級——杰出級(CS5)、信息技術(shù)服務(wù)標(biāo)準(zhǔn)(ITSS)運維能力成熟度一級認(rèn)證等專業(yè)資質(zhì),支撐公司更優(yōu)質(zhì)的服務(wù)體系。
公司主頁