核心職責(zé)：
海外全媒體數(shù)據(jù)采集：負(fù)責(zé) YouTube、TikTok、Reddit、Spotify 等海外平臺(tái)文本、圖片、音視頻數(shù)據(jù)的自動(dòng)化抓取與下載，保障海量數(shù)據(jù)高效采集；
多模態(tài)數(shù)據(jù)處理：運(yùn)用主流 AI 模型 / 工具庫(kù)完成原始數(shù)據(jù)格式轉(zhuǎn)換、采樣、抽幀及特征提??；
數(shù)據(jù)清洗與過(guò)濾：開(kāi)發(fā)高效算法剔除無(wú)效、低質(zhì)、重復(fù)數(shù)據(jù)（如靜音視頻檢測(cè)、模糊圖片剔除、文本去噪）；
自動(dòng)化標(biāo)注支撐：按業(yè)務(wù)需求完成數(shù)據(jù)預(yù)標(biāo)注 / 結(jié)構(gòu)化處理（語(yǔ)音轉(zhuǎn)文字、視頻場(chǎng)景分割、文本情感打分），輸出高質(zhì)量訓(xùn)練語(yǔ)料；
數(shù)據(jù)存儲(chǔ)與索引：關(guān)聯(lián)結(jié)構(gòu)化數(shù)據(jù)與多媒體文件，落地至向量數(shù)據(jù)庫(kù) / 分布式存儲(chǔ)系統(tǒng)。
任職要求：
核心技術(shù)能力：精通 Python 異步編程（asyncio/aiohttp），可支撐海量多媒體文件并發(fā)下載；熟練使用 Playwright/Puppeteer 抓取高動(dòng)態(tài)音視頻流媒體頁(yè)面；
多媒體處理（重點(diǎn)）：
熟練運(yùn)用 FFmpeg（命令行 / Python 綁定）實(shí)現(xiàn)視頻抽幀、轉(zhuǎn)碼、音頻提取、時(shí)長(zhǎng)裁剪；
熟悉 Pillow/OpenCV，能完成圖像去噪、縮放、格式校驗(yàn)、相似度比對(duì)；
掌握正則 / LangChain/spaCy/NLTK 等工具處理多語(yǔ)言文本（去 HTML 標(biāo)簽、特殊字符清洗），了解 VAD（靜音檢測(cè)）、OCR（字幕識(shí)別）、ASR（語(yǔ)音轉(zhuǎn)文字）相關(guān)模型應(yīng)用；
模型與工程化：有調(diào)用 OpenAI API、Hugging Face 開(kāi)源模型（Whisper/CLIP）進(jìn)行數(shù)據(jù)預(yù)處理 / 自動(dòng)標(biāo)記經(jīng)驗(yàn)；熟悉數(shù)據(jù)流處理邏輯，可設(shè)計(jì) Celery+Redis 任務(wù)隊(duì)列處理耗時(shí)多媒體任務(wù)；
存儲(chǔ)管理：熟悉 S3 / 阿里云 OSS 等對(duì)象存儲(chǔ)使用，了解 Milvus/Pinecone 等向量數(shù)據(jù)庫(kù)基本概念，或有海量元數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)經(jīng)驗(yàn)。