證券時報網
王一鳴
2025-02-27 21:42
通過這些分享可以清晰了解DeepSeek是如何最大限度利用GPU能力的。
2月27日，DeepSeek開源周（OpenSourceWeek）第四彈來了，DeepSeek在X上宣布這次開源的是三項優化并行策略，并在Github上詳細展開了DeepSeek-V3和R1模型背后的并行計算優化技術，通過這些闡述可以清晰了解團隊是如何精細地優化計算和通信，最大限度利用GPU能力的。
這三項優化并行策略其中包括DualPipe，這是一種用于V3/R1模型訓練中計算與通信重疊的雙向流水線并行算法，這種算法能夠完全重疊前向和后向計算通信階段，與傳統方法相比減少了“流水線氣泡”（設備在某些時刻的空閑等待）。 在DualPipe的開發團隊署名中，包括創始人梁文鋒。
優化并行策略第二項是EPLB（Expert Parallelism Load Balancer，專家并行負載均衡器），它針對V3/R1模型，解決MoE（混合專家）模型在分布式訓練和推理中的負載不平衡問題。
當使用專家并行（EP）時，不同的專家被分配到不同的GPU。由于不同專家的負載可能會根據當前的工作負載而變化，因此保持不同GPU的負載平衡非常重要。DeepSeek曾在V3論文中提到，團隊采用冗余專家策略來重復重載專家，他們創新地將重復的專家打包到GPU上，以確保不同GPU之間的負載平衡。
在第三部分， DeepSeek直接分享了來自訓練和推理框架的性能分析數據，以幫助社區更好地了解通信計算重疊策略和低級實現細節。這些數據是用PyTorch Profiler采集的，下載后可以直接在 Chrome或 Edge 瀏覽器中打開，進行可視化分析，DeepSeek還模擬了絕對平衡的MoE 路由策略用于性能分析。
DeepSeek這四天的發布都與Infra層的算法有關，分享團隊最大限度利用GPU能力的技術細節。大模型生態社區OpenCSG（開放傳神）創始人陳冉此前對第一財經舉例表示，“相當于以前DeepSeek是直接給一輛車，告訴大家這輛車續航900公里，但是現在DeepSeek在深挖，用什么方式能夠開到900公里。”DeepSeek的模型為什么能夠實現較好的效果，對應有一些算法和相應的框架，而這些“腳手架”的開源有利于之后的生態搭建。
陳冉判斷，DeepSeek的代碼開源或許會影響一批做AI Infra層的從業者，“AI Infra層的人要找新的方向。”但他同時表示，這種開源是一把雙刃劍，如果能將DeepSeek開源的內容用好可能也會得利，“用不好就被沖擊”。
此前三日，DeepSeek陸續開源了讓大模型在GPU上跑得更快的MLA解碼核FlashMLA，用于MoE模型訓練和推理的DeepEP通信庫，以及可支持MoE的FP8 GEMM代碼庫DeepGEMM。
從GitHub上獲得的星標來看，這些項目頗受歡迎，截至發稿，FlashMLA已在GitHub獲得超過1萬星標，DeepEP的星標已有6000，DeepGEMM目前超過3700，最新發布的DualPipe星標超過700。
就在昨日，DeepSeek還在海內外同時宣布了API 錯峰優惠，自2月26日起，北京時間每日00:30至08:30的夜間空閑時段，API 調用價格大幅下調：DeepSeek-V3 降至原價的 50%，DeepSeek-R1 更低至 25%。DeepSeek鼓勵用戶充分利用這一時段，享受更經濟更流暢的服務體驗。
另外，也有消息稱，DeepSeek正尋求鞏固自身優勢，盡早推出R2模型，消息提到DeepSeek原本計劃在5月初發布R2模型，目前會加快這一速度。DeepSeek目前并未對此回應。
此前DeepSeek在R1論文中提到，R1 的性能將在下一個版本得到改善，因為相關的RL（強化學習）訓練數據還很少。隨著RL數據的增加，模型解決復雜推理任務的能力持續穩定提升，且會自然涌現出一些復雜行為能力。
業界認為，DeepSeek-R2的發布可能是AI行業的一個關鍵節點。
