月薪62776~96390元 台北市南港區 工作經歷不拘 9天前更新
深度學習在異質系統架構中之效能及功耗優化(Performance/energy optimization of complex neural network models training/inference on heterogeneous system architecture)
Machine Learning Systems團隊的研究方向包括:平行計算、編譯器、以及計算機架構。我們利用電腦系統的技術優化AI應用軟體,並研究下一世代機器學習模型的系統開發與設計。
近年來,許多AI軟體利用結合多種neural networks,來達成卓越的判斷和預測,此AI模型稱為複合式神經網路模型(complex neural network models: hybrid model, multi-model, multi-task)。例如,視頻字幕(video captioning)結合了CNN與RNN,可以用來進行AI視頻問題解答,自動醫療報告生成和電影評論分析。例如,自駕車上執行了數個不同的網路模型,同時處理物體偵測,路線規劃,與駕駛對話等任務。其他例子還包括語音助理,機器人等等。如何高效率地利用系統中的所有運算資源(CPU+GPU+AI accelerator)執行複合式模型,以達到real-time或低能耗運算,是未來AI系統設計的一項重點研究。
此外,許多新型AI應用像是推薦系統、知識圖等,使用了圖神經網路(GNN)作為深度學習訓練與推理的模型。GNN的執行包含了複雜的不規則計算以及大量的稀疏矩陣(sparse matrix)計算,傳統的處理器通常無法有效率的進行運算。然而新的CPUs/GPUs為此提供了新的硬體加速設計,例如:強大的向量指令(Intel AVX512同時計算8個64-bit資料,其gather/scatter指令可快速存取非連續記憶體位址資料)和矩陣加速器(Nvidia TensorCore,在稀疏度為50%時可達到兩倍加速),為不規則計算與sparse matrix計算開啟了新的契機。如何利用AI compiler優化技術來使用向量指令或矩陣加速並達到最佳運算效能,亦是極具挑戰性的研究議題。
本實驗室研究方向為:
(1) 研究如何利用異質平台(heterogeneous platform)的多CPUs、多GPUs,設計複合式模型的資源配置和排程演算法。以及研究在CPU+GPU+AI加速器的運算環境下,提高深度學習模型在伺服器/嵌入式裝置的執行效能。
(2) 針對圖神經網路、不規則計算、稀疏資料結構,研究使用向量指令(AVX512,SVE)和矩陣加速器(NPU, GPU TensorCore)的優化技術。
(3) 研究多模型multi-model或multi-task的系統層設計,包含系統軟體(software stack/runtime)和軟硬體優化。
(4) 研究動態推理(dynamic inference)模型的編譯器優化技術,包括模型計算圖優化、執行碼優化。以及研究適合有限資源下運行的輕量化自動優化器(lightweight auto-tuning)。
(5) 深度學習軟體與硬體協同優化研究:根據硬體所提供的運算功能或特殊加速指令,為深度學習模型設計最佳的model architecture/pruning/quantization/parallelization,以及運算程式碼的編寫與優化。
上述研究議題為國內外深度學習系統領域之重要發展方向,產業界及學術界均需此方面人才。適合擬專心研究,未來從事學術工作者或研發工作者,對於未來規劃進修博士學位者, 本實驗室之研究計畫提供優良之訓練環境與研究經歷。
薪資:博士62776元起聘
展開 員工餐廳員工電影週休二日勞保健保