【崗位職責】
1 、模型架構實現(xiàn)與代碼開發(fā)
根據(jù)模型設計高級工程師的架構方案,負責將前沿的具身大腦模型(如多模態(tài)Transformer、世界模型、VLA模型等)轉(zhuǎn)化為高質(zhì)量、高性能的代碼。使用PyTorch等主流深度學習框架,實現(xiàn)模型的網(wǎng)絡結(jié)構、前向/后向傳播、損失函數(shù)、數(shù)據(jù)處理等核心模塊。
2 、訓練Pipeline構建與優(yōu)化
構建高效、可擴展的模型訓練Pipeline,包括數(shù)據(jù)加載與預處理、分布式訓練、混合精度訓練、梯度累積等,確保大規(guī)模模型訓練的穩(wěn)定性和效率。負責訓練過程的監(jiān)控、調(diào)試和參數(shù)調(diào)優(yōu),使用Weights & Biases (WB)、MLflow等工具進行實驗管理和結(jié)果分析,快速定位并解決訓練中的問題。
3、 多模態(tài)數(shù)據(jù)處理與集成
負責處理和融合來自不同來源的多模態(tài)數(shù)據(jù)(如圖像、點云、語言指令、關節(jié)狀態(tài)、力反饋等),開發(fā)高效的數(shù)據(jù)加載器和預處理腳本。與數(shù)據(jù)樣本工程師協(xié)作,確保數(shù)據(jù)格式、標注質(zhì)量與模型訓練需求無縫對接。
4 、模型評估與基準測試
實現(xiàn)模型的評估腳本,在標準基準(如Libero、CALVIN、RT-1等)和團隊內(nèi)部任務上對模型進行性能測試,生成詳細的評估報告。負責模型的性能分析,識別模型瓶頸,為模型設計工程師的迭代優(yōu)化提供數(shù)據(jù)支持和可行性建議。
5 、工程化部署與支持
負責模型的工程化封裝,提供清晰的API接口,支持模型在仿真環(huán)境和真實機器人上的推理部署。與本體適配工程師、仿真工程師緊密協(xié)作,解決模型在部署過程中遇到的兼容性、性能等問題,確保端到端系統(tǒng)的順暢運行。
【崗位要求】
1 、學歷與專業(yè)背景
計算機科學、人工智能、自動化、電子工程等相關專業(yè)本科及以上學歷,擁有2年以上深度學習模型開發(fā)經(jīng)驗。
2 、核心編程與工程能力
精通Python,具備扎實的編程基礎和良好的代碼風格,熟悉面向?qū)ο缶幊獭?
精通PyTorch框架,深入理解其核心原理,有從零實現(xiàn)復雜神經(jīng)網(wǎng)絡模型的經(jīng)驗。熟悉TensorFlow者加分。熟悉Linux開發(fā)環(huán)境,熟練使用Git進行版本控制,有Docker使用經(jīng)驗者優(yōu)先。
3、 模型與算法認知
深入理解至少一種主流模型架構,如Transformer、CNN、RNN等,并了解其在視覺、語言或多模態(tài)領域的應用。熟悉深度學習的基本概念,如反向傳播、優(yōu)化器、損失函數(shù)、正則化等,并對強化學習、擴散模型等有基本了解。
4 、具身智能領域經(jīng)驗
對具身智能有濃厚興趣,了解VLA(視覺-語言-動作)模型的基本概念,熟悉RT-1/2、OpenVLA、ACT等至少一種具身智能模型者優(yōu)先。有處理機器人相關數(shù)據(jù)(如圖像序列、關節(jié)軌跡、語言指令)的經(jīng)驗,或使用過ROS/ROS2者優(yōu)先。
5 、大規(guī)模訓練與系統(tǒng)經(jīng)驗
具備分布式訓練的實踐經(jīng)驗,熟悉多GPU、多節(jié)點的訓練配置和優(yōu)化(如使用torch.distributed)。有處理大規(guī)模數(shù)據(jù)集的經(jīng)驗,了解數(shù)據(jù)加載、存儲和I/O優(yōu)化的常見方法。
6 、軟技能與綜合素質(zhì)
具備優(yōu)秀的工程實踐能力和問題解決能力,能夠?qū)碗s的理論設計轉(zhuǎn)化為穩(wěn)定、高效的工程代碼。具備良好的溝通能力和團隊協(xié)作精神,能夠清晰地表達技術問題,并與不同角色的同事高效協(xié)作。學習能力強,對新技術充滿熱情,能夠快速跟進領域內(nèi)的最新進展。