崗位職責(zé):
1、負(fù)責(zé)企業(yè)知識庫建設(shè)、文檔解析、數(shù)據(jù)清洗、結(jié)構(gòu)化處理、向量庫構(gòu)建與維護(hù);
2、負(fù)責(zé)模型訓(xùn)練/微調(diào)/評測數(shù)據(jù)采集、標(biāo)注、去重、質(zhì)量治理與pipeline搭建;
3、負(fù)責(zé)AI相關(guān)數(shù)據(jù)工程建設(shè),包括高質(zhì)量數(shù)據(jù)集、清洗、標(biāo)注與合成,構(gòu)建大模型訓(xùn)練、推薦場景的數(shù)據(jù)集,優(yōu)化數(shù)據(jù)分布,提升模型訓(xùn)練效率與效果;
4、負(fù)責(zé)數(shù)據(jù)指標(biāo)統(tǒng)計(jì)、效果埋點(diǎn)、日志分析,支撐產(chǎn)品與算法迭代;
5、保障數(shù)據(jù)安全、權(quán)限管控與合規(guī),滿足企業(yè)級數(shù)據(jù)要求。
任職要求:
1、本科及以上,計(jì)算機(jī)、軟件工程相關(guān)專業(yè),熟悉數(shù)據(jù)庫、ES、向量庫等儲存方案;
2、有文本處理、數(shù)據(jù)治理、標(biāo)注平臺、知識庫建設(shè)經(jīng)驗(yàn)優(yōu)先;
3、熟練使用數(shù)據(jù)處理工具,能獨(dú)立完成數(shù)據(jù)流程搭建與優(yōu)化;
4、嚴(yán)謹(jǐn)細(xì)致,重視數(shù)據(jù)質(zhì)量與業(yè)務(wù)安全合規(guī)。