證券時報網
毛軍
2025-04-07 17:32
開源大模型元老，發布重磅更新。
北京時間4月6日凌晨，美國科技巨頭Meta推出了開源人工智能模型Llama 4。據介紹，該模型目前目前有Scout和Maverick兩個版本，是Meta迄今為止最先進的模型，也是同類產品中多模態性最強的模型。
在DeepSeek引發模型開源浪潮以前，Meta一直是開源模型的領先玩家及重要的行業奠基者。在ChatGPT橫空出世7個多月后，Meta就率先宣布開源Llama 2，并且可免費商用。這也成為大模型發展的分水嶺，是開源模型社區的歷史性時刻。Llama第四代模型的發布，不僅是Meta應對DeepSeek等新興開源勢力的一次“回擊”，同時也推動了開源模型技術的進一步發展和生態的進一步完善。
大規模、多模態、長文本的Llama 4發布
北京時間4月6日凌晨，Meta發布Llama 4系列首批模型，包括兩款高效模型Llama 4 Scout、Llama 4 Maverick。此外，Meta還預覽了其迄今最強大最智能的模型——Llama 4 Behemoth，是“新模型中的教師”。
Llama 4模型是Llama系列模型中首批采用混合專家（MoE）架構的模型。這一模型也是DeepSeek系列模型采用的架構，與傳統的稠密模型相比，在MoE架構中，單獨的token只會激活全部參數中的一小部分，訓練和推理的計算效率更高。
首先，Llama 4的第一大特點是參數規模大，最先進的Llama 4 Behemoth總參數高達2萬億（作為對照，DeepSeek-R1總參數規模為6710億）。
其中，Llama 4 Scout面向文檔摘要與大型代碼庫推理任務，專為高效信息提取與復雜邏輯推理打造，共有16位“專家”、1090億參數、170億激活參數量；Llama 4 Maverick則專注于多模態能力，支持視覺和語音輸入，具備頂級的多語言支持與編程能力，共有128位“專家”、4000億參數、170億激活參數量；Llama 4 Behemoth（預覽版）則是Meta未來最強大的AI模型之一，具備令人矚目的超大規模參數架構，具有2880億激活參數量，總參數高達2萬億。
其次，Llama 4的另外一大特點是多模態能力突出。作為原生多模態模型，Llama 4采用了早期融合（Early Fusion）技術，可以用海量的無標簽文本、圖片和視頻數據一起來預訓練模型，實現文本和視覺token無縫整合到統一的模型框架里。
據Meta介紹，Llama用各種圖像和視頻幀靜止圖像訓練兩個模型，以賦予它們廣泛的視覺理解能力，包括時間活動和相關圖像。這支持多圖像輸入與文本提示的無縫交互，用于視覺推理和理解任務。模型在預訓練中最多使用48張圖像，后訓練中測試了最多8張圖像，結果良好。
最后，Llama在長文本能力上也取得了突破，具有超大的上下文窗口長度。Llama 4 Scout 模型支持高達1000萬token的上下文窗口，刷新了開源模型的紀錄，而市場上其他領先模型如GPT-4o也未能達到此規模。超大上下文窗口使Llama 4在處理長文檔、復雜對話和多輪推理任務時表現出色。
大模型競爭趨于白熱化
作為開源模型社區的“領頭羊”和佼佼者，Llama（Large Language Model Meta AI）系列模型由Meta在2022年推出。2023年，為應對ChatGPT等領先閉源模型的挑戰，Meta率先宣布開源Llama 2，并且可免費商用。這一開源之舉激活了開發者社區的創新潛力，此后基于Llama 2構建的應用項目數量大大增加，覆蓋各種領域，形成了一個充滿活力的生態系統。
2024年4月，Llama 3正式發布，在技術層面實現了諸多突破，最重要的是不僅在單語言任務上表現卓越，還實現了多模態處理能力，能夠同時理解并生成文本、圖像、音頻等多種類型的數據，從而開啟了多模態的新紀元。
雖然Meta是開源模型的重要奠基者，但是開源領域的競爭正變得日益激烈和焦灼，尤其是DeepSeek的崛起，對Meta在開源模型社區的領先地位構成了巨大的沖擊。
今年1月末，在DeepSeek剛剛在海外火爆出圈時，就有Meta員工在匿名社區TeamBlind上爆料稱，僅用550萬美元訓練的DeepSeek-V3在基準測試中已經讓Llama模型相形見絀，Meta的工程師們正在爭分奪秒地分析DeepSeek，試圖復制其中的一切可能技術。該爆料帖還說，Meta管理層正面臨嚴峻的財務壓力，其生成式AI部門數十位高管，“每個人的年薪都超過了DeepSeek-V3的全部訓練費用。如何向公司高層解釋這種投入產出比，已成為他們的噩夢”。
除了DeepSeek以外，阿里巴巴通義千問系列開源大模型也屢屢斬獲佳績。4月2日，全球最大的AI開源社區Hugging Face更新了大模型榜單，阿里通義千問近期開源的端到端全模態大模型Qwen2.5-Omni登上總榜榜首。據了解，阿里至今已向全球開源200多款模型，千問衍生模型數量已突破10萬，超越美國Llama系列，成為全球最大的開源模型族群。
在Llama 4發布之際，OpenAI首席執行官山姆·奧特曼也對外透露了公司的模型發布計劃。他表示，OpenAI可能在幾周后發布最新的推理模型o3和最新的基座模型o4-mini，然后在幾個月后推出GPT-5。
DeepSeek-R2模型何時發布也備受市場關注。4月4日，DeepSeek與清華大學研究團隊聯合發布題為《獎勵模型的推理時Scaling方法及其在大規模語言模型中的應用》的重磅論文，提出自我原則點評調優（SPCT）與元獎勵模型（Meta Reward Model）兩項核心技術，為提升大語言模型的推理能力提供了全新方法論。雖然官方并未明確R2的發布時間，但這一成果被視為DeepSeek下一代推理模型R2的重要技術鋪墊。
技術的不斷突破及各家大模型的密集推出，表明大模型競爭趨于白熱化，彼此間你追我趕將是未來一段時間的常態。業內人士分析稱，模型能力的持續提升，推動大模型競爭進入推理強化和應用拓展的下半場賽程。個人智能體潛力初步顯現，行業應用漸次走深，開源開放日益成為大模型的核心競爭力組成。大算力、多模態、強推理、廣開源、準數據、智能體、深應用等，成為大模型發展的重要趨勢。
責編：李丹
校對：劉榕枝
