華為推出準萬億參數盤古Ultra MoE模型
發(fā)布:2025-5-31 12:32 | 作者:
dfffds | 來源:本站 | 查看:14次 | 字號:
小 中 大
在線python運行 5月30日， 華為推出全新AI模型——盤古 Ultra MoE，其參數規(guī)模高達7180億。這一準萬億參數的MoE(Mixture of Experts)模型，全程在華為昇騰 AI 計算平臺上進行訓練，意味著華為在超大規(guī)模模型訓練領域取得了重大突破。盤古 Ultra MoE 的成功訓練，得益于盤古團隊提出的創(chuàng)新技術。其中，Depth-Scaled Sandwich-Norm(DSSN)穩(wěn)定架構的引入，有效解決了超大規(guī)模模型訓練中的梯度異常和范數波動問題。通過在每個子層輸出后加入額外的層歸一化，并結合深度縮放的初始化方式，DSSN架構確保了模型訓練的長期穩(wěn)定性。此外，TinyInit 小初始化方法，采用標準差為 (2/(d·L)) 的初始化策略，進一步優(yōu)化了模型訓練過程。在訓練方法上，華為團隊首次披露了在昇騰 CloudMatrix 384 超節(jié)點上打通大稀疏比 MoE 強化學習(RL)后訓練框架的關鍵技術。這一技術的突破，使得 RL 后訓練正式進入超節(jié)點集群時代，為強化學習在超大規(guī)模模型中的應用奠定了基礎。在5月初發(fā)布的預訓練系統(tǒng)加速技術基礎上，華為團隊在不到一個月的時間內完成了新一輪迭代升級。此次升級包括：適配昇騰硬件的自適應流水掩蓋策略，進一步優(yōu)化算子執(zhí)行序，降低 Host-Bound，提升 EP 通信掩蓋;自適應管理內存優(yōu)化策略的開發(fā);數據重排實現 DP 間 Attention 負載均衡;以及昇騰親和的算子優(yōu)化。這些技術的應用，使得萬卡集群預訓練 MFU(混合精度計算利用率)由30%大幅提升至41%。
洋溪槎溪交友社區(qū)
