崗位職責(zé):
1、設(shè)計(jì)并實(shí)現(xiàn)VLA算法方案,以量產(chǎn)落地為導(dǎo)向,熟悉RT-1/2、pi0等主流多模態(tài)具身大模型優(yōu)劣,改善調(diào)優(yōu)
2、負(fù)責(zé)機(jī)器人具身操作任務(wù)的強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)、開發(fā)和優(yōu)化 優(yōu)化Sim2Real的遷移技術(shù),提高算法魯棒性;跟蹤前沿技術(shù),進(jìn)行強(qiáng)化學(xué)習(xí)算法的調(diào)研、性能對(duì)比和評(píng)估
3、研究多模態(tài)學(xué)習(xí)方法,結(jié)合視覺、觸覺、力反饋提升機(jī)器人決策能力 包括VLM的訓(xùn)練與微調(diào),實(shí)現(xiàn)模型實(shí)際場景的落地需求,多模態(tài)數(shù)據(jù)集的構(gòu)建、清洗等,提升算法性能和決策質(zhì)量等。
任職要求:
1、計(jì)算機(jī)科學(xué)、人工智能、機(jī)器人工程或相關(guān)領(lǐng)域碩士及以上學(xué)歷
2、具備深度學(xué)習(xí)、計(jì)算機(jī)視覺和自然語言處理的扎實(shí)理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn)
3、熟練掌握Python、C++等編程語言,有使用PyTorch、TensorFlow等深度學(xué)習(xí)框架的經(jīng)驗(yàn)
4、熟悉VLM/MLLM模型的訓(xùn)練流程,了解常見的增量訓(xùn)練方法與微調(diào)方法
5、熟悉主流的多模態(tài)預(yù)訓(xùn)練基座,熟悉多模態(tài)對(duì)齊等關(guān)鍵技術(shù)
6、具備良好的團(tuán)隊(duì)合作精神和溝通能力,能夠通過團(tuán)隊(duì)協(xié)作推進(jìn)項(xiàng)目進(jìn)展。