職位描述
作為多模態(tài)感知大模型芯片算法優(yōu)化專家，深入理解多模態(tài)大模型的計(jì)算特性與前沿演進(jìn)，并與芯片架構(gòu)師、編譯器工程師緊密協(xié)作，主導(dǎo)完成從算法模型到芯片高效部署的全棧優(yōu)化，確保芯片在目標(biāo)場景下達(dá)到世界領(lǐng)先的能效比與性能。
核心職責(zé)
1.算法-芯片協(xié)同設(shè)計(jì)：
分析主流及前沿 多模態(tài)感知大模型（如視覺Transformer、多模態(tài)融合模塊、3D稀疏卷積網(wǎng)絡(luò)等） 的計(jì)算圖、算子構(gòu)成、數(shù)據(jù)流與內(nèi)存訪問模式。
識別模型中的計(jì)算瓶頸與內(nèi)存瓶頸，提出面向芯片硬件特性的 算法級優(yōu)化方案（如算子融合、圖優(yōu)化、稀疏化、低精度量化、動(dòng)態(tài)計(jì)算）。
2.模型部署與極致優(yōu)化：
主導(dǎo)多模態(tài)大模型在自研AI芯片上的 端到端部署、性能分析與調(diào)優(yōu)。
開發(fā)和優(yōu)化針對芯片特性的 核心算子庫（Kernel）, 支持模型的自動(dòng)切圖、調(diào)度、內(nèi)存分配和量化感知訓(xùn)練。
3.前沿探索與方案落地：
跟蹤多模態(tài)大模型的結(jié)構(gòu)演進(jìn)趨勢（如MoE、注意力機(jī)制變體），評估其對芯片架構(gòu)的影響，并提前布局優(yōu)化方案。
探索 混合精度訓(xùn)練與推理（FP8/INT4/稀疏INT8）與硬件感知的模型輕量化 等技術(shù)的芯片落地路徑。
將優(yōu)化后的模型在真實(shí)業(yè)務(wù)場景（如車載實(shí)時(shí)感知系統(tǒng)）中集成、測試與迭代，確保精度-速度-功耗的完美平衡。
任職要求（必要條件）
教育背景：計(jì)算機(jī)科學(xué)、電子工程、人工智能等相關(guān)專業(yè)碩士或博士學(xué)歷。
1.深厚的算法與硬件基礎(chǔ)：
深刻理解 深度學(xué)習(xí)模型（尤其是Transformer、CNN）的計(jì)算原理與訓(xùn)練/推理流程。
熟悉 計(jì)算機(jī)體系結(jié)構(gòu)，對CPU/GPU/NPU的微架構(gòu)、內(nèi)存子系統(tǒng)、并行計(jì)算有清晰認(rèn)識。
2.豐富的優(yōu)化實(shí)踐經(jīng)驗(yàn)：
3年以上AI模型在邊緣設(shè)備或定制芯片上的部署與優(yōu)化經(jīng)驗(yàn)。
精通 C/C++ 和 Python，具備出色的高性能編程和調(diào)試能力。
熟練掌握至少一種主流深度學(xué)習(xí)框架（PyTorch, TensorFlow）及其模型優(yōu)化工具（如TorchScript, ONNX, TensorRT, TVM, MLIR）。
有深入的 算子級優(yōu)化經(jīng)驗(yàn)（如CUDA/OpenCL編程， 或DSP/ARM NEON匯編優(yōu)化）。
3.多模態(tài)模型理解：對視覺、激光雷達(dá)或多模態(tài)融合模型的常見結(jié)構(gòu)（如BEVFormer， PointPillars, 多模態(tài)Transformer）有實(shí)際部署或優(yōu)化經(jīng)驗(yàn)。
優(yōu)先考慮條件
有參與 AI芯片 的算法優(yōu)化或工具鏈開發(fā)經(jīng)驗(yàn)。
精通 模型量化（QAT/PTQ）、知識蒸餾、模型剪枝 等壓縮技術(shù)，并有在芯片上成功量產(chǎn)部署的經(jīng)驗(yàn)。
熟悉 自動(dòng)駕駛或機(jī)器人 的完整感知系統(tǒng)，了解其端到端的數(shù)據(jù)流和實(shí)時(shí)性要求。
有基于 TVM/MLIR 等編譯器框架進(jìn)行AI模型編譯與優(yōu)化的實(shí)際項(xiàng)目經(jīng)驗(yàn)。