崗位職責:
1、負責處理和清洗大規(guī)模、多來源的數(shù)據集,保證數(shù)據的完整性和可靠性,消除數(shù)據中的偏見、冗余、毒性內容
2、提升清洗數(shù)據和生成數(shù)據的質量,通過多樣算法和模型提升和優(yōu)化數(shù)據質量
3、設計、構建和維護大模型相關的大數(shù)據處理系統(tǒng)和數(shù)據管道
4、負責數(shù)據處理中涉及到的NLP模型的設計與優(yōu)化,提升數(shù)據處理的效率和準確性
5、大模型相關的數(shù)據質量把控,包括但不限于數(shù)據一致性檢查、數(shù)據完整性驗證等
6、對大規(guī)模數(shù)據集進行處理和分析,確保數(shù)據的準確性和可靠性
7、理解數(shù)據需求,與業(yè)務緊密配合,開發(fā)建立自動化數(shù)據質量評估流程及系統(tǒng)
8、及時發(fā)現(xiàn)和定位數(shù)據問題,跟蹤問題的解決進度,確保數(shù)據問題得到有效解決
9、編寫詳實的數(shù)據評估報告,提供訓練數(shù)據分析和改進建議,為團隊提供有效的反饋支持
10、開展數(shù)據治理,持續(xù)提升數(shù)據質量,挖掘數(shù)據價值
任職要求:
專業(yè):計算機、人工智能、軟件工程、數(shù)學等相關專業(yè)
素質:溝通能力強,表達清晰,有責任心
經驗:NLP、機器學習或大模型相關背景和經歷