崗位職責(zé)
1. 參與公司數(shù)據(jù)倉庫、數(shù)據(jù)中臺或數(shù)據(jù)平臺的開發(fā)與維護(hù)。
2. 根據(jù)需求完成數(shù)據(jù)清洗、轉(zhuǎn)換、加載(ETL/ELT)任務(wù)的開發(fā)與調(diào)試。
3. 編寫并優(yōu)化 SQL,保證數(shù)據(jù)處理的正確性與高效性。
4. 協(xié)助數(shù)據(jù)分析師/產(chǎn)品同事,提供所需數(shù)據(jù)支持。
5. 參與數(shù)據(jù)質(zhì)量檢查,保障數(shù)據(jù)的準(zhǔn)確性、完整性與一致性。
6. 編寫相關(guān)技術(shù)文檔。
任職要求
1. 計算機(jī)、軟件工程、信息管理、數(shù)學(xué)等相關(guān)專業(yè),本科及以上學(xué)歷。
2. 熟悉 SQL,掌握基本的 SQL 優(yōu)化技巧。
3. 熟悉 Python 用于數(shù)據(jù)分析處理,熟悉XPath語法,及逆向編程思維
4. 熟悉 常見數(shù)據(jù)庫(如 MySQL、SQLServer),會基本的建表、索引設(shè)計。
5. 了解 Linux 基本命令,能進(jìn)行數(shù)據(jù)腳本部署與日志排查。
6. 了解網(wǎng)頁前端基礎(chǔ)(HTML, CSS, JavaScript),能分析網(wǎng)頁結(jié)構(gòu)并提取數(shù)據(jù)
7. 具備一定的邏輯思維與數(shù)據(jù)敏感度,能快速理解業(yè)務(wù)需求。
8. 2年以上相關(guān)工作經(jīng)驗。
有如下經(jīng)驗者優(yōu)先考慮
1. 熟悉 Hadoop/Spark/Flink 等大數(shù)據(jù)處理框架,有課程/實習(xí)項目經(jīng)驗。
2. 熟悉Python的常用框架和庫(Flask、Pandas,Scrapy,Feapder,Selenium)。
3. 有數(shù)據(jù)抓取/數(shù)據(jù)分析相關(guān)實習(xí)或項目經(jīng)驗。
4. 熟悉HTTP、TCP/IP等網(wǎng)絡(luò)通信協(xié)議以及數(shù)據(jù)抓包、分析;有一定的JS逆向能力,能解決普遍的移動端以及網(wǎng)頁端加密問題。
5. 能構(gòu)建穩(wěn)健的抓取任務(wù)調(diào)度、分布式采集與監(jiān)控告警體系