【崗位職責(zé)】
1、數(shù)據(jù)采集與整理：依據(jù)業(yè)務(wù)與模型需求，設(shè)計并實現(xiàn)網(wǎng)頁爬蟲、開放 API 調(diào)用等數(shù)據(jù)采集流程。處理多種非結(jié)構(gòu)化數(shù)據(jù)（如網(wǎng)頁文本、Markdown、PDF 等）的解析、抽取與結(jié)構(gòu)化落庫；
2、根據(jù)算法團(tuán)隊需求，構(gòu)建和整理指令數(shù)據(jù)、問答數(shù)據(jù)、對話數(shù)據(jù)等，按約定格式生成訓(xùn)練語料。對原始數(shù)據(jù)進(jìn)行脫敏、切分、標(biāo)簽整理等預(yù)處理，為標(biāo)注與訓(xùn)練環(huán)節(jié)提供合規(guī)且高質(zhì)量的數(shù)據(jù)輸入；
3、配合后端與算法團(tuán)隊，搭建支撐 AI 應(yīng)用（如智能助手、知識問答、智能客服等）的數(shù)據(jù)流程，包括向量化處理、索引構(gòu)建、日志采集、用戶反饋數(shù)據(jù)沉淀、特征更新等；
4、與產(chǎn)品、算法、后端等團(tuán)隊保持良好溝通，理解業(yè)務(wù)背景與需求，能夠?qū)?shù)據(jù)方案提出合理建議。
【任職要求】
1、對生成式AI有一定的使用經(jīng)驗；
2、對大語言模型訓(xùn)練數(shù)據(jù)的重要性有基本認(rèn)識，理解指令數(shù)據(jù)、對話數(shù)據(jù)、知識庫數(shù)據(jù)等在模型效果中的作用；
3、計算機科學(xué)、軟件工程、數(shù)據(jù)科學(xué)、數(shù)學(xué)等相關(guān)專業(yè)，本科及以上學(xué)歷；
4、熟練使用 Python 進(jìn)行數(shù)據(jù)處理與腳本開發(fā)，熟悉常見數(shù)據(jù)處理或 ETL 相關(guān)庫（如 pandas 等）；
5、具備扎實的 SQL 基礎(chǔ)，能夠獨立完成常見的數(shù)據(jù)查詢、聚合統(tǒng)計與基礎(chǔ)性能優(yōu)化；
6、具備良好的溝通表達(dá)與跨團(tuán)隊協(xié)作能力；
7、工作嚴(yán)謹(jǐn)細(xì)致，具備責(zé)任意識和自驅(qū)力，能夠在不完全確定的環(huán)境中推動任務(wù)落地。
加分項
1、 使用任務(wù)調(diào)度 / 工作流工具（如 Airflow、Prefect 或同類工具等）管理定時任務(wù)與數(shù)據(jù)流程依賴。
2、 有使用 FastGPT、Dify、Flowise、n8n、LangChain、LlamaIndex 等大模型應(yīng)用平臺或編排框架的實踐經(jīng)驗者優(yōu)先，了解其在對話機器人、RAG 檢索、工具調(diào)用編排等場景中的使用方式。
3、 接觸過 Spark、Flink、Hadoop、ClickHouse 等任一大數(shù)據(jù)或高性能存儲 / 計算系統(tǒng)。
4、 參與過大模型訓(xùn)練 / 微調(diào) / RAG 等項目的數(shù)據(jù)側(cè)工作，了解完整數(shù)據(jù) pipeline。
5、 在技術(shù)社區(qū)或開源社區(qū)有貢獻(xiàn)（如技術(shù)博客、開源項目、技術(shù)分享等）。