開源浪潮,仍在持續(xù)。
3月6日,阿里通義千問大模型團(tuán)隊(duì)宣布,正式推出最新的推理模型QwQ-32B。據(jù)通義千問大模型團(tuán)隊(duì)介紹,這是一款擁有320億參數(shù)的模型,其性能可與具備6710億參數(shù)(其中370億被激活)的DeepSeek-R1媲美。
值得注意的是,盡管DeepSeek-R1擁有6710億的巨型參數(shù)量,但由于DeepSeek創(chuàng)新性地使用了MoE(混合專家模型)架構(gòu)以及MLA(多頭潛在注意力機(jī)制)的方法,每次推理僅激活370億參數(shù)(占總量的5.5%)。這使得DeepSeek-R1雖然整體很大,但實(shí)際干活時(shí)只需要?jiǎng)佑靡恍〔糠至α浚軌蜃龅焦?jié)省資源,高效完成任務(wù)。
在數(shù)學(xué)推理、編程能力和通用能力的一系列基準(zhǔn)測(cè)試中,通義千問大模型團(tuán)隊(duì)將QwQ-32B與OpenAI的o1-mini以及DeepSeek滿血版及蒸餾版進(jìn)行了比較,結(jié)果顯示,在測(cè)試數(shù)學(xué)能力的AIME24評(píng)測(cè)集上,以及評(píng)估代碼能力的LiveCodeBench中,QwQ-32B表現(xiàn)與DeepSeek-R1相當(dāng),遠(yuǎn)勝于o1-mini及相同尺寸的R1蒸餾模型。
至于為何能夠?qū)崿F(xiàn)這一點(diǎn),奧秘仍在于大規(guī)模強(qiáng)化學(xué)習(xí)的方法。據(jù)介紹,在冷啟動(dòng)基礎(chǔ)上,阿里通義團(tuán)隊(duì)針對(duì)數(shù)學(xué)和編程任務(wù)、通用能力分別進(jìn)行了兩輪大規(guī)模強(qiáng)化學(xué)習(xí)。在初始階段,特別針對(duì)數(shù)學(xué)和編程任務(wù)進(jìn)行了強(qiáng)化學(xué)習(xí)訓(xùn)練。與依賴傳統(tǒng)的獎(jiǎng)勵(lì)模型不同,通義千問大模型團(tuán)隊(duì)通過校驗(yàn)生成答案的正確性來為數(shù)學(xué)問題提供反饋,并通過代碼執(zhí)行服務(wù)器評(píng)估生成的代碼是否成功通過測(cè)試用例來提供代碼的反饋。
業(yè)內(nèi)人士分析,QwQ-32B的成功表明,將強(qiáng)大的基礎(chǔ)模型與大規(guī)模強(qiáng)化學(xué)習(xí)相結(jié)合,能夠在較小的參數(shù)規(guī)模下實(shí)現(xiàn)卓越性能,這為未來通向通用人工智能提供了可行路徑。
此外,QwQ-32B的另外一個(gè)亮點(diǎn)是大幅降低了部署使用成本,開發(fā)者和企業(yè)可以在消費(fèi)級(jí)硬件上輕松將其部署到本地設(shè)備中。
目前,阿里已采用寬松的Apache2.0協(xié)議,將QwQ-32B模型向全球開源,所有人都可免費(fèi)下載及商用,也可以通過阿里云百煉平臺(tái)直接調(diào)用模型API服務(wù)。同時(shí),用戶也可通過通義APP免費(fèi)體驗(yàn)最新的QwQ-32B模型。
最近,阿里在模型開源方面動(dòng)作頻頻。就在2月底,阿里才宣布全面開源旗下視頻生成模型萬相2.1模型。這款模型同樣基于Apache2.0協(xié)議,14B和1.3B兩個(gè)參數(shù)規(guī)格的推理代碼和權(quán)重全部開源,同時(shí)支持文生視頻和圖生視頻任務(wù)。
開源僅不到一周的時(shí)間,通義萬相2.1模型就受到了開源社區(qū)的極大歡迎。3月3日,開源社區(qū)Hugging Face最新榜單顯示,阿里萬相大模型已反超DeepSeek-R1,登頂模型熱榜、模型空間榜兩大榜單,成為近期全球開源社區(qū)最受歡迎的大模型。
據(jù)了解,阿里通義團(tuán)隊(duì)一直堅(jiān)持開源路線。從2023年至今,阿里通義團(tuán)隊(duì)已開源200多款模型,包含大語言模型千問Qwen及視覺生成模型萬相Wan等兩大基模系列,開源囊括文本生成模型、視覺理解和生成模型、語音理解和生成模型、文生圖及視頻模型等,覆蓋從0.5B到110B等參數(shù),實(shí)現(xiàn)了全模態(tài)、全尺寸大模型的開源。
長(zhǎng)江證券研報(bào)指出,近期,阿里在AI 領(lǐng)域持續(xù)發(fā)力,踐行了其AI 驅(qū)動(dòng)戰(zhàn)略,隨著其后續(xù)投入的逐步提升,相關(guān)成果有望加速迭代,相關(guān)成果或?qū)⒒菁跋嚓P(guān)產(chǎn)業(yè)鏈,加速AI應(yīng)用落地,進(jìn)而進(jìn)一步帶動(dòng)算力需求的爆發(fā)。同時(shí),隨著阿里在AI 基礎(chǔ)設(shè)施、基礎(chǔ)模型平臺(tái)及AI原生應(yīng)用、現(xiàn)有業(yè)務(wù)的AI轉(zhuǎn)型等三方面加大投入,或?qū)⒁I(lǐng)中國(guó)AI 產(chǎn)業(yè)加速發(fā)展。
資本市場(chǎng)方面,隔夜阿里巴巴美股大漲超8%,今日,阿里巴巴港股大幅高開,一度漲超7%,截至發(fā)稿,漲6.47%。今年以來,阿里巴巴股價(jià)大幅上漲,累計(jì)漲幅已近70%。
校對(duì):姚遠(yuǎn)