DeepSeek開源周收官,DeepSeek以最后一彈,再次在AI江湖激起了層層漣漪。
3月1日,DeepSeek在知乎上發(fā)表題為《DeepSeek-V3/R1 推理系統概覽》的文章,全面揭曉V3/R1 推理系統背后的關鍵秘密。
最為引人注目的是,文章首次披露了DeepSeek的理論成本和利潤率等關鍵信息。據介紹,假定GPU租賃成本為2美元/小時,總成本為87072美元/天;如果所有tokens全部按照DeepSeek R1的定價計算,理論上一天的總收入為562027美元/天,成本利潤率為545%。
最大程度優(yōu)化推理系統,理論成本利潤率高達545%
據文章介紹,DeepSeek-V3/R1推理系統的優(yōu)化目標是更大的吞吐、更低的延遲。為了實現這兩個目標,DeepSeek使用了大規(guī)??绻?jié)點專家并行(Expert Parallelism / EP)的方法,并通過一系列技術策略,最大程度地優(yōu)化了大模型推理系統,實現了驚人的性能和效率。
具體而言,在更大的吞吐的方面,大規(guī)??绻?jié)點專家并行能夠使得batch size(批尺寸)大大增加,從而提高GPU矩陣乘法的效率,提高吞吐。
batch size在深度學習中是一個非常重要的超參數,指模型在訓練過程中每次使用的數據量大小。它決定了每次模型更新時使用的訓練樣本數量,調整batch size可以影響模型的訓練速度、內存消耗以及模型權重的更新方式。
在更低的延遲方面,大規(guī)模跨節(jié)點專家并行使得專家分散在不同的GPU上,每個GPU只需要計算很少的專家(因此更少的訪存需求),從而降低延遲。
但是,由于大規(guī)??绻?jié)點專家并行會大幅增加系統的復雜性,帶來了跨節(jié)點通信、多節(jié)點數據并行、負載均衡等挑戰(zhàn),因此DeepSeek在文章中也重點論述了使用大規(guī)??绻?jié)點專家并行增大batch size的同時,如何隱藏傳輸的耗時,如何進行負載均衡。
具體來看,DeepSeek團隊主要通過規(guī)?;绻?jié)點專家并行、雙批次重疊策略、最優(yōu)負載均衡等方式,最大化資源利用率,保證高性能和穩(wěn)定性。
值得注意的是,文章還披露了DeepSeek的理論成本和利潤率等關鍵信息。據介紹,DeepSeek V3 和R1的所有服務均使用英偉達的H800 GPU,由于白天的服務負荷高,晚上的服務負荷低,DeepSeek實現了一套機制,在白天負荷高的時候,用所有節(jié)點部署推理服務。晚上負荷低的時候,減少推理節(jié)點,以用來做研究和訓練。
通過時間上的成本控制,DeepSeek表示DeepSeek V3和R1推理服務占用節(jié)點總和,峰值占用為278個節(jié)點,平均占用226.75個節(jié)點(每個節(jié)點為8個H800 GPU)。假定GPU租賃成本為2美元/小時,總成本為87072美元/天;如果所有tokens全部按照DeepSeek R1的定價計算,理論上一天的總收入為562027美元/天,成本利潤率為545%。
不過,DeepSeek也強調,實際上的收入或許并沒有那么多,因為V3的定價相較于R1要更低,另外夜間還會有折扣。記者注意到,2月26日,DeepSeek在其API開放平臺發(fā)布錯峰優(yōu)惠活動通知。根據通知,北京時間每日00:30-08:30為錯峰時段,API調用價格大幅下調,其中DeepSeek-V3降至原價的50%,DeepSeek-R1降至25%。DeepSeek鼓勵用戶在該時段調用,享受更經濟更流暢的服務體驗。
根據模型價格細節(jié),在標準時段(北京時間08:30-00:30),V3和R1的百萬tokens輸入(緩存命中)價格分別為0.5元和1元,百萬tokens輸出分別為8元和16元,R1均為V3的兩倍。而在優(yōu)惠時段(北京時間00:30-08:30),V3和R1的百萬tokens輸入(緩存命中)則均降為0.25元,百萬tokens輸出均降為4元。
開源周告一段落,更多驚喜或許還在路上
隨著最后一枚“重磅炸彈”的發(fā)布,DeepSeek的開源周活動正式告一段落。
在過去的一周里,DeepSeek每天開源一個代碼庫,堪稱公開了一個“技術全家桶”。業(yè)內人士分析,這一系列的技術組件看似獨立,實則共同構建成了一套精密協同的系統,讓DeepSeek在有限算力之下最大程度地“榨干”了GPU,實現了訓練推理效率的大幅提升。
記者注意到,在DeepSeek今天發(fā)布“最后一彈”的帖子下,不少國外網友表達了贊嘆。例如,一名網友表示,到第七天,DeepSeek或許還會發(fā)布AGI(通用人工智能,人工智能的最高目標);另外一名網友表示,“這就是為了正確的理由做正確的事情,你們絕對是傳奇,鞠躬致敬”;還有網友猜測,DeepSeek愿意公布這些信息,說明他們實際上已經達到了領先的水平,實際的技術能力可能更高。
不僅如此,還有網友將DeepSeek與OpenAI進行對比,表示:“‘成本利潤率545%’,等一下,所以你是說我被OpenAI搶劫了?”
與DeepSeek的開源、免費相比,OpenAI的模型收費一直十分昂貴。就在2月28日,OpenAI正式發(fā)布最新模型GPT-4.5研究預覽版,這是一款號稱“情商最高”的通用大語言模型。然而,其高達每100萬tokens輸入75美元的API調用價格,相比GPT-4o的2.5美元暴漲了30倍,相比DeepSeek的正常價格,GPT-4.5輸入價格更是達到了驚人的280倍。
事實上,GPT-4.5發(fā)布后,許多網友已在評論區(qū)吐槽定價太貴。而OpenAI的CEO山姆·奧特曼也承認,GPT-4.5是一個“龐大且昂貴的模型”。“我們原本非常希望同時向Plus和Pro用戶推出它,但隨著我們的規(guī)模發(fā)展壯大,我們已經耗盡了GPU資源。我們將在下周增加數萬塊GPU,然后將其推出給Plus層級的用戶。”奧特曼在其個人社交平臺上表示。
作為大模型領域的“鯰魚”,DeepSeek如同一名初出茅廬、聰明而銳氣的年輕人,持續(xù)地給行業(yè)的老玩家及巨頭們帶來壓力。最近,據外媒透露,DeepSeek正在加速研發(fā)DeepSeek-R2推理模型,這一模型原計劃今年5月發(fā)布,但或許會提前,新模型有望可以生成更好的代碼,并且使用英語之外的語言進行推理。
從V3到R1,再到即將面世的R2,外界對DeepSeek充滿了期待,DeepSeek也以持續(xù)的技術突破驚艷世界。開源周雖然暫時結束了,但更多的驚喜,或許還在路上。
責編:萬健祎
校對:李凌鋒