什么？2025 年世界人工智能大會(huì)（WAIC）第二天，幾位行業(yè)大佬「吵」起來了。
是的，你沒聽錯(cuò)！他們「吵架」的熱度，堪比盛夏的天氣，直逼 40 度高溫。
事情的起因是在一場(chǎng)圓桌論壇上，剛聊到模型訓(xùn)練范式，大家就展開了尖峰辯論。
但這場(chǎng)關(guān)于訓(xùn)練范式的思想碰撞，很快轉(zhuǎn)移到了模型架構(gòu)、訓(xùn)練數(shù)據(jù)、開閉源等尖銳的問題上。每個(gè)問題都深入大模型發(fā)展的核心要害。
最直觀的感受：「這是 AI 行業(yè)頂流的公開 battle，我愿稱之為今年最硬核『吵架』現(xiàn)場(chǎng)?！古_(tái)上嘉賓你來我往，臺(tái)下觀眾掌聲不斷。
而這場(chǎng)圓桌論壇，是由商湯科技承辦的 WAIC 2025 大模型論壇的「模型之問」圓桌 —— 探討的是「大模型技術(shù)演進(jìn)與發(fā)展之路」。
圓桌主持人由商湯科技聯(lián)合創(chuàng)始人、執(zhí)行董事、首席科學(xué)家林達(dá)華擔(dān)任主持。嘉賓陣容堪稱當(dāng)前大模型生態(tài)的多路代表：包括階躍星辰首席科學(xué)家張祥雨，上海人工智能實(shí)驗(yàn)室青年領(lǐng)軍科學(xué)家、書生大模型負(fù)責(zé)人陳愷，北京智譜華章科技股份有限公司總裁王紹蘭，范式集團(tuán)聯(lián)合創(chuàng)始人、首席科學(xué)官陳雨強(qiáng)，英偉達(dá)全球開發(fā)者生態(tài)副總裁 Neil Trevett。
可以說這場(chǎng)論壇匯聚了來自基礎(chǔ)模型研發(fā)、行業(yè)落地應(yīng)用、算力平臺(tái)等多個(gè)關(guān)鍵環(huán)節(jié)的代表性力量，是一次不同路徑、不同視角的深入對(duì)話。
在這場(chǎng) 30 分鐘的對(duì)話中，每一位嘉賓發(fā)言的背后，既是對(duì)技術(shù)路線的選擇，也關(guān)乎產(chǎn)業(yè)未來的走向，值得每一個(gè)人深思。
一開場(chǎng)，林達(dá)華表示：「大模型技術(shù)發(fā)展到今天，可以說是在繁花似錦的背后，我們也進(jìn)入到了一個(gè)十字路口。過去大半年的時(shí)間里，大模型的技術(shù)格局經(jīng)歷了一個(gè)重要的范式轉(zhuǎn)變。從最初以預(yù)訓(xùn)練為主、監(jiān)督學(xué)習(xí)為輔的模式 —— 這一范式由 OpenAI 所開創(chuàng) —— 逐漸向注重推理能力提升的強(qiáng)化學(xué)習(xí)范式過渡。這個(gè)轉(zhuǎn)變標(biāo)志著 AI 領(lǐng)域在技術(shù)上的進(jìn)一步演化?！?/p>
隨著這個(gè)觀點(diǎn)的拋出，這場(chǎng)圍繞大模型的圓桌論壇正式拉開帷幕。
預(yù)訓(xùn)練與強(qiáng)化學(xué)習(xí)
在大模型爆發(fā)初期，基本是以預(yù)訓(xùn)練為主，比如 OpenAI 發(fā)布 GPT-4o 時(shí)，當(dāng)時(shí)所有的計(jì)算資源都投入在預(yù)訓(xùn)練上。很多人認(rèn)為如果預(yù)訓(xùn)練不足，模型能力上限將被鎖死。
隨著 o1 的發(fā)布，OpenAI 提出在預(yù)訓(xùn)練好的模型上，用強(qiáng)化學(xué)習(xí)做后訓(xùn)練（PostTraining），能顯著提高模型推理能力。如下圖左邊顯示隨著訓(xùn)練時(shí)間的增加，模型性能隨之提升。這種走勢(shì)是每個(gè)訓(xùn)練 AI 模型的人都熟悉的。
右邊表明在「測(cè)試時(shí)間」增加時(shí)，模型的表現(xiàn)也會(huì)得到改善。這一發(fā)現(xiàn)代表了一個(gè)全新的擴(kuò)展維度 —— 不僅僅是訓(xùn)練時(shí)間擴(kuò)展，還包括測(cè)試時(shí)間擴(kuò)展，用到的訓(xùn)練方法主要是強(qiáng)化學(xué)習(xí)。
o1 的技術(shù)博客中展示了一張圖表：準(zhǔn)確度和測(cè)試時(shí)計(jì)算之間存在對(duì)數(shù)線性關(guān)系，o1 的性能隨著訓(xùn)練時(shí)間和測(cè)試時(shí)的計(jì)算而平穩(wěn)提高
在 OpenAI 看來，未來強(qiáng)化學(xué)習(xí)計(jì)算可能會(huì)成為主導(dǎo)。
從 GPT-4o 到 o1 范式的轉(zhuǎn)變，不禁讓我們思考，原本由 OpenAI 所開創(chuàng)的以預(yù)訓(xùn)練為主、監(jiān)督學(xué)習(xí)為輔的范式，現(xiàn)在逐漸轉(zhuǎn)向了更加注重推理能力提升的強(qiáng)化學(xué)習(xí)范式。此外，OpenAI 前首席科學(xué)家伊利亞也提出了類似觀點(diǎn)，預(yù)訓(xùn)練時(shí)代即將終結(jié)。
隨著推理模型的崛起，強(qiáng)化學(xué)習(xí)越來越得到大家重視。因此一個(gè)值得深思的問題被提出，預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)我們應(yīng)該怎么平衡？
張祥雨首先肯定了這套范式的合理性（從預(yù)訓(xùn)練到監(jiān)督微調(diào)再到 RL）。對(duì)于預(yù)訓(xùn)練而言，本質(zhì)就是壓縮語料的一個(gè)過程，之后在模型內(nèi)部形成一個(gè)更加緊湊的表示。這個(gè)表示對(duì)模型學(xué)習(xí)世界知識(shí)和建模非常有幫助。
但與此同時(shí)，預(yù)訓(xùn)練通常基于 Next Token 預(yù)測(cè)，這其實(shí)是一種行為克隆的形式。而行為克隆傳統(tǒng)上被認(rèn)為存在一些難以規(guī)避的問題 —— 比如無論你用了多少數(shù)據(jù)、模型做得多大，它都很難真正建立起目標(biāo)導(dǎo)向的推理能力。
因?yàn)閴嚎s只是盡可能復(fù)現(xiàn)已有內(nèi)容，而推理本質(zhì)上是要求模型能找到一條邏輯自洽、通向目標(biāo)的因果鏈。因此，RL 應(yīng)運(yùn)而生。
張祥雨還指出了未來這條范式的發(fā)展方向，他認(rèn)為如何進(jìn)一步擴(kuò)展 RL，使其能夠接受自然語言反饋，而不僅僅是像數(shù)學(xué)、代碼這種確定性反饋很關(guān)鍵。
在張祥雨的分享中，我們捕捉到了一個(gè)非常重要且值得深思的技術(shù)范式拓展，那就是將強(qiáng)化學(xué)習(xí)進(jìn)一步延伸到大規(guī)模預(yù)訓(xùn)練。特別是在推理階段（即 Test Time）使用強(qiáng)化學(xué)習(xí)來增強(qiáng)推理性能，這確實(shí)是一個(gè)非常具有啟發(fā)性的建議。
陳愷則強(qiáng)調(diào)了預(yù)訓(xùn)練的重要性。他表示，強(qiáng)化學(xué)習(xí)之所以能夠大放異彩，是因?yàn)樗蕾囉谝粋€(gè)強(qiáng)大的冷啟動(dòng)模型。過去，冷啟動(dòng)模型可能依賴于預(yù)訓(xùn)練和監(jiān)督學(xué)習(xí)（SFT），但現(xiàn)在大家對(duì)預(yù)訓(xùn)練的重視程度逐漸提高。預(yù)訓(xùn)練為強(qiáng)化學(xué)習(xí)提供了一個(gè)良好的基礎(chǔ)，使其能夠探索多種未來的可能性，從而發(fā)揮其應(yīng)有的作用。
陳愷進(jìn)一步討論了強(qiáng)化學(xué)習(xí)未來面臨的挑戰(zhàn)，即獎(jiǎng)勵(lì)或反饋機(jī)制的問題。這個(gè)問題將成為強(qiáng)化學(xué)習(xí)進(jìn)一步拓展到更多任務(wù)時(shí)的一個(gè)關(guān)鍵挑戰(zhàn)。目前，強(qiáng)化學(xué)習(xí)主要用于解決一些有明確答案的任務(wù)，比如填空和問答題，但實(shí)際上，許多有效且有價(jià)值的任務(wù)并沒有唯一確定的答案（這和張祥雨的觀點(diǎn)類似）。因此，強(qiáng)化學(xué)習(xí)需要探索新的獎(jiǎng)勵(lì)和反饋機(jī)制，這可能依賴于新的評(píng)價(jià)標(biāo)準(zhǔn)，或者通過與環(huán)境的實(shí)際交互反饋來形成獎(jiǎng)勵(lì)體系。
此外，陳愷還表示強(qiáng)化學(xué)習(xí)也給基礎(chǔ)設(shè)施帶來了新的挑戰(zhàn)。盡管強(qiáng)化學(xué)習(xí)已經(jīng)取得了一些進(jìn)展，但從效率上來看，仍然存在較大的提升空間。強(qiáng)化學(xué)習(xí)需要大量算力，且模型需要不斷進(jìn)行探索和學(xué)習(xí)。如果未來強(qiáng)化學(xué)習(xí)開始依賴更多的交互反饋，這對(duì)基礎(chǔ)設(shè)施的要求將會(huì)更高，對(duì)相關(guān)技術(shù)和資源的挑戰(zhàn)也將更加嚴(yán)峻。
Transformer 架構(gòu)與非 Transformer 架構(gòu)
在整個(gè)模型研發(fā)過程中，訓(xùn)練范式是非常重要的一部分，而訓(xùn)練范式又依托于高效的模型架構(gòu)。
從 2017 年至今，Transformer 統(tǒng)治 AI 領(lǐng)域已經(jīng)八年之久。如果從 2019 年的 GPT-2 出發(fā)，回顧至 2024–2025 年的 ChatGPT、 DeepSeek-V3 、LLaMA 4 等主流模型，不難發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象：盡管模型能力不斷提升，但其整體架構(gòu)基本保持高度一致。
然而，隨著模型參數(shù)飆升至千億級(jí)、上下文窗口拉伸至百萬 Token，Transformer 的一些限制開始顯現(xiàn)。 比如，其最大的問題是自注意力機(jī)制的 O (n^2) 擴(kuò)展性，當(dāng)序列長度 n 增加時(shí)，計(jì)算量和內(nèi)存占用呈平方級(jí)增長。其次，注意力機(jī)制需要存儲(chǔ)大量中間結(jié)果和 KV 緩存，顯存很快被占滿；第三，Transformer 缺乏顯式的長期記憶機(jī)制，導(dǎo)致在需要多步推理或跨文檔對(duì)齊的任務(wù)上，小樣本泛化能力急劇下降。
對(duì)此，業(yè)界和學(xué)界開始新的探索，他們主要沿著兩條技術(shù)路線展開。
一是優(yōu)化現(xiàn)有 Transformer 架構(gòu)，例如，位置編碼從最初的絕對(duì)位置發(fā)展為旋轉(zhuǎn)位置編碼（RoPE）；注意力機(jī)制也從標(biāo)準(zhǔn)的多頭注意力逐步過渡為更高效的分組查詢注意力（Grouped-Query Attention），另外在激活函數(shù)方面，GELU 被更高效的 SwiGLU 所取代。
另一條則是跳出 Transformer，探索全新架構(gòu)范式。如 Mamba 系列通過狀態(tài)空間模型（SSM）實(shí)現(xiàn)線性復(fù)雜度的長序列建模，展現(xiàn)出比 Transformer 更優(yōu)的延遲性能與可控推理能力；RetNet、RWKV 等結(jié)構(gòu)則融合了 RNN 的記憶優(yōu)勢(shì)與 Transformer 的并行性，力圖找到效率與能力的最優(yōu)平衡點(diǎn)。
值得注意的是，當(dāng)前的大模型架構(gòu)發(fā)展也呈現(xiàn)出混合設(shè)計(jì)趨勢(shì)，如由 AI21 Labs 推出的 Jamba 就是混合架構(gòu)典型，其結(jié)合了經(jīng)典的 Transformer 模塊和 Mamba 模塊。
年初發(fā)布的 DeepSeek V3 表明，即使是優(yōu)化現(xiàn)有 Transformer 架構(gòu)，也可以大幅度降低模型訓(xùn)練和推理成本。這就帶來一個(gè)值得深思的問題：我們是基于 Transformer 架構(gòu)進(jìn)行創(chuàng)新？還是開發(fā)非 Transformer 架構(gòu)？
對(duì)于這一問題，張祥雨表示，模型架構(gòu)并不是最重要的決定因素，架構(gòu)是為系統(tǒng)和算法服務(wù)的。Transformer 架構(gòu)沒有問題。現(xiàn)在流傳下來的仍然是最經(jīng)典的 Transformer 架構(gòu)。
但現(xiàn)在的問題是，算法開始向 RL 遷移，而我們的應(yīng)用場(chǎng)景也從推理時(shí)代向智能體時(shí)代轉(zhuǎn)變。而智能體最重要的特性是自主性，它必須能夠主動(dòng)與環(huán)境交互，并從環(huán)境中進(jìn)行學(xué)習(xí)。
這就意味著，我們的模型架構(gòu)需要具備類似人類的能力，能夠建模一種無限流或無限上下文的能力。因此，張祥雨認(rèn)為，（在智能體時(shí)代）傳統(tǒng)模式已經(jīng)遇到了阻礙，像是傳統(tǒng)的 RNN 架構(gòu)，未來短時(shí)間內(nèi)可能會(huì)重新成為下一代主流架構(gòu)的設(shè)計(jì)考慮之一。
真實(shí)數(shù)據(jù)與合成數(shù)據(jù)之爭(zhēng)
但我們不可忽視的是，大模型的背后，還有數(shù)據(jù)。過去，AlexNet 及其后續(xù)工作解鎖了 ImageNet，Transformer 的興起解鎖了海量的互聯(lián)網(wǎng)數(shù)據(jù)。然而今天，我們正面臨一個(gè)殘酷現(xiàn)實(shí)：高質(zhì)量語料正在趨于枯竭。隨著已被爬取的內(nèi)容越來越多，邊際新增的優(yōu)質(zhì)數(shù)據(jù)正在減少。
有研究預(yù)計(jì)，如果 LLM 保持現(xiàn)在的發(fā)展勢(shì)頭，預(yù)計(jì)在 2028 年左右，已有的數(shù)據(jù)儲(chǔ)量將被全部利用完。屆時(shí)，基于大數(shù)據(jù)的大模型的發(fā)展將可能放緩甚至陷入停滯。與此同時(shí)，擁有版權(quán)、隱私等限制的數(shù)據(jù)，更是加劇了垂直領(lǐng)域的發(fā)展。
圖源：來自論文《Will we run out of data? Limits of LLM scaling based on human-generated data》
在此背景下，合成數(shù)據(jù)被寄予厚望，國內(nèi)外很多公司開始采用這種方式。比如 Anthropic 首席執(zhí)行官 Dario Amodei 曾經(jīng)表示，對(duì)于高質(zhì)量數(shù)據(jù)耗盡的困境，Anthropic 正在嘗試模型合成數(shù)據(jù)的方法，也就是使用模型生成更多已有類型的數(shù)據(jù)。這一策略也在 OpenAI、Meta、Google DeepMind 等公司的新一代模型訓(xùn)練中被廣泛應(yīng)用。
然而，合成數(shù)據(jù)在一定程度上緩解了數(shù)據(jù)難題，但它本身也引發(fā)了一系列新的挑戰(zhàn)與隱憂。2024 年登上《自然》封面的一項(xiàng)研究認(rèn)為如果放任大模型用生成的數(shù)據(jù)進(jìn)行訓(xùn)練，AI 可能會(huì)崩潰，在短短幾代內(nèi)將原始內(nèi)容迭代成無法挽回的胡言亂語。
一邊是高質(zhì)量數(shù)據(jù)資源日漸枯竭，另一邊則是對(duì)合成數(shù)據(jù)的高度依賴與不確定性并存。
這種擔(dān)憂，也發(fā)生在英偉達(dá)內(nèi)部。Neil Trevett 表示，英偉達(dá)在圖形生成和物理仿真方面也面臨數(shù)據(jù)困擾的問題，尤其是那些無法獲取、獲取成本高、涉及倫理風(fēng)險(xiǎn)或隱私問題的數(shù)據(jù)。
圓桌現(xiàn)場(chǎng)，Neil Trevett 給出了英偉達(dá)的一個(gè)解決思路，利用物理仿真生成模擬場(chǎng)景，用來訓(xùn)練大模型。這種方式尤其適用于構(gòu)造一些在真實(shí)世界中難以采集的邊緣案例，比如交通事故場(chǎng)景，或者機(jī)器人遇到異常情況時(shí)的應(yīng)對(duì)。
不過，Neil Trevett 也強(qiáng)調(diào)：不能完全依賴合成數(shù)據(jù)。用于合成數(shù)據(jù)的生成模型本身可能存在偏差、誤差或盲區(qū)，因此需要建立真實(shí)世界的驗(yàn)證機(jī)制和反饋閉環(huán)，比如通過 human-in-the-loop 的方式，來輔助驗(yàn)證訓(xùn)練效果是否真實(shí)可用。Neil Trevett 還給出了幾個(gè)非常有前景的技術(shù)路徑，包括自監(jiān)督學(xué)習(xí)、主動(dòng)學(xué)習(xí)、混合式訓(xùn)練流程等。
王紹蘭則給出了不一樣的觀點(diǎn)，他認(rèn)為對(duì)于預(yù)訓(xùn)練而言，大家常提到的互聯(lián)網(wǎng)數(shù)據(jù)耗盡，其實(shí)是一個(gè)量的問題，可能更關(guān)鍵的是質(zhì)的問題。也就是說，當(dāng)初大模型所依賴的大量互聯(lián)網(wǎng)數(shù)據(jù)，它們的質(zhì)量是否真的足夠好？這需要重新審視。接下來應(yīng)該是進(jìn)一步提升預(yù)訓(xùn)練數(shù)據(jù)中的質(zhì)量。
王紹蘭還提到所謂數(shù)據(jù)耗盡并不像大家說的那樣夸張，原因是行業(yè)數(shù)據(jù)還沉淀在行業(yè)中，沒有被用來訓(xùn)練模型。因此大模型想要落地到行業(yè)中去，必須用行業(yè)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。
關(guān)于合成數(shù)據(jù)問題，王紹蘭認(rèn)為隨著大模型場(chǎng)景的不斷擴(kuò)展，一些場(chǎng)景數(shù)據(jù)是極其稀缺的，甚至是完全不存在的。因此，只能依賴合成數(shù)據(jù)和仿真環(huán)境來補(bǔ)足。
然而，這種做法會(huì)帶來一系列挑戰(zhàn)，如果仿真不夠真實(shí)，那么生成的數(shù)據(jù)也會(huì)存在偏差，最終會(huì)影響模型訓(xùn)練效果。因此，我們不能把合成數(shù)據(jù)看作一個(gè)萬能鑰匙，它有價(jià)值，但不能解決一切問題，背后仍有大量工程上的挑戰(zhàn)需要克服。
最后，王紹蘭還建議：對(duì)于行業(yè)中非敏感、非涉密的關(guān)鍵數(shù)據(jù)，應(yīng)當(dāng)考慮在行業(yè)內(nèi)部建立數(shù)據(jù)共享機(jī)制或聯(lián)盟組織，共同挖掘、整理這些數(shù)據(jù)，為大模型在各類實(shí)際場(chǎng)景中的應(yīng)用提供更可靠的「彈藥庫」。這一建議一發(fā)出，現(xiàn)場(chǎng)掌聲不斷。
基礎(chǔ)模型與 Agent 向左向右
從來不是一道單選題
進(jìn)入到 2025 年，我們可以觀察到一個(gè)很明顯的趨勢(shì)，基礎(chǔ)模型的研發(fā)速度逐漸放緩，而以 Agent 為代表的應(yīng)用成為了爆點(diǎn)。國內(nèi)外廠商陸續(xù)推出了自動(dòng)化執(zhí)行任務(wù)的 Agent 產(chǎn)品，比如 OpenAI 推出的 Operator、深度研究以及 ChatGPT agent、智譜 AI 推出的 AutoGLM 沉思等。
這正是隨著大模型進(jìn)入到應(yīng)用深水區(qū)以來，行業(yè)內(nèi)加速構(gòu)建商業(yè)閉環(huán)并著眼產(chǎn)業(yè)落地的真實(shí)寫照。同時(shí)，對(duì)于一些以 AGI 為終極目標(biāo)的廠商來說，基礎(chǔ)模型的研發(fā)同樣不會(huì)停滯。如何平衡基礎(chǔ)模型投入與應(yīng)用落地之間的關(guān)系，成為廠商在戰(zhàn)略決策層面的核心議題。
智譜在持續(xù)迭代基座大模型 GLM 系列，覆蓋語言模型、多模態(tài)模型等的同時(shí)，也積極推動(dòng)大模型在各行各業(yè)的落地。面對(duì)這種雙軌布局是否太分散精力的疑問，王紹蘭表示兩者并不沖突。
一方面，基礎(chǔ)模型仍處于快速演進(jìn)的階段，行業(yè)普遍對(duì)當(dāng)前模型成果感到振奮，但距離 AGI 的目標(biāo)仍有較大差距。如果類比自動(dòng)駕駛的分級(jí)，當(dāng)前大模型大致處于 L3 階段，僅完成了預(yù)訓(xùn)練、對(duì)齊與基礎(chǔ)推理，并剛剛進(jìn)入到了具備反思與沉思能力的深度推理階段。未來仍需要繼續(xù)進(jìn)化，即使是 OpenAI 即將發(fā)布的 GPT-5，與 AGI 仍有距離。他認(rèn)為，包括智譜在內(nèi)，對(duì)基礎(chǔ)模型的探索將持續(xù)下去。
另一方面，王紹蘭也強(qiáng)調(diào)，模型的價(jià)值不應(yīng)只停留在純理論研究層面。如果不展開模型的商業(yè)化落地，它們的價(jià)值就無從體現(xiàn)。大模型要「用起來」，直至變成生產(chǎn)力革命的那一天。如今，大模型正通過 Agent 等形態(tài)拓展自身應(yīng)用。同時(shí)在落地的過程中，各行各業(yè)的領(lǐng)軍企業(yè)和生態(tài)伙伴也要具備大模型思維，積極擁抱這場(chǎng)范式變革。
同樣地，第四范式在大模型落地方面也走在了行業(yè)前列，尤其是將 AI 技術(shù)應(yīng)用于金融等重點(diǎn)行業(yè)。對(duì)于如何平衡基礎(chǔ)模型的持續(xù)研發(fā)與行業(yè)應(yīng)用落地，陳雨強(qiáng)首先指出在技術(shù)發(fā)展極為迅速的當(dāng)下，要保證自身在行業(yè)中的競(jìng)爭(zhēng)力，其中最關(guān)鍵的是要用好已有的開源或閉源模型。
接著，陳雨強(qiáng)談到了基礎(chǔ)模型能力以及引發(fā)的數(shù)據(jù)問題。當(dāng)前，已經(jīng)有超過 30% 的流量來自模型輸出而非傳統(tǒng)搜索引擎，這也導(dǎo)致面臨人為破壞數(shù)據(jù)等風(fēng)險(xiǎn)。此外，用于評(píng)估大模型的工具（如 Arena）雖有價(jià)值，但也存在局限。很多普通用戶不關(guān)心答案是否真的正確，而是像不像好答案，這就導(dǎo)致排版精美的算法在輸出結(jié)果時(shí)得分更高，進(jìn)一步加劇數(shù)據(jù)偏差問題。
最后，他提到，在企業(yè)落地中，尤其涉及金融等高敏感領(lǐng)域，仍存在諸多挑戰(zhàn)。比如在反欺詐場(chǎng)景，基礎(chǔ)大模型難以直接處理像每天十億用戶交易記錄這樣的大規(guī)模數(shù)據(jù)輸入。這意味著，大模型的落地要在基礎(chǔ)模型能力、數(shù)據(jù)質(zhì)量等多個(gè)層面持續(xù)進(jìn)行技術(shù)突破。
開源模型即使非最強(qiáng)
也能鞭策整個(gè)行業(yè)進(jìn)步
除了訓(xùn)練范式、架構(gòu)的持續(xù)進(jìn)化以及解決數(shù)據(jù)瓶頸之外，開源與閉源同樣影響著大模型技術(shù)路徑的選擇、產(chǎn)業(yè)生態(tài)的構(gòu)建以及人工智能的格局。
一直以來，AI 領(lǐng)域便存在著開源與閉源兩大陣營。在國內(nèi)外頭部大模型廠商中，OpenAI 在 GPT-3 之后就完全轉(zhuǎn)向了閉源，而以 LLaMA、DeepSeek、Qwen、Kimi 等為代表的開源模型陣營，正不斷逼近甚至部分超越閉源大模型的性能表現(xiàn)。
其中，DeepSeek 的開源模型憑借其優(yōu)異的性能和極低的部署成本，迅速在全球范圍內(nèi)獲得了廣泛關(guān)注和應(yīng)用，甚至對(duì)以英偉達(dá) GPU 和閉源模型為主導(dǎo)的傳統(tǒng) AI 產(chǎn)業(yè)鏈構(gòu)成了沖擊?？梢灶A(yù)見，開源與閉源將在未來的 AI 生態(tài)中持續(xù)展開博弈。
陳愷從自己多年來的開源領(lǐng)域經(jīng)驗(yàn)出發(fā)，探討了開源如何在大模型時(shí)代產(chǎn)生深遠(yuǎn)影響。就在昨天，他所在的上海人工智能實(shí)驗(yàn)室開源了「書生」科學(xué)多模態(tài)大模型 Intern-S1，并基于此打造了「書生」科學(xué)發(fā)現(xiàn)平臺(tái) Intern-Discovery。
在他看來，一方面，開源不僅重塑行業(yè)內(nèi)不同玩家之間的分工與資源投入方式，還推動(dòng)了資源的更合理配置。另一方面，盡管開源模型未必是性能最強(qiáng)的，但它能夠有效避免重復(fù)投入，促使廠商專注于真正需要解決的問題。
更重要的是，對(duì)于行業(yè)內(nèi)仍在訓(xùn)練基礎(chǔ)模型并以 AGI 為終極目標(biāo)的玩家來說，開源無疑形成一種實(shí)質(zhì)性壓力：如果閉源模型比不過開源成果，其存在價(jià)值可能就會(huì)受到質(zhì)疑。因此，開源不一定總能做到最好，卻能鞭策整個(gè)行業(yè)以更高效的方式持續(xù)演進(jìn)。
而作為全球領(lǐng)先的芯片供應(yīng)商，英偉達(dá)高度重視并持續(xù)支持全球 AI 生態(tài)的發(fā)展，并投入很多。特別在開源方面，英偉達(dá)為開源大模型訓(xùn)練與部署提供了算力引擎，通過強(qiáng)大的芯片、好用的工具讓模型易用性更強(qiáng)。
Neil Trevett 表示，開源的力量毋庸置疑，如其他技術(shù)領(lǐng)域一樣，開源是推動(dòng) AI 行業(yè)前進(jìn)的強(qiáng)大「工具」。然而，開源是否適合每家公司，需要他們根據(jù)自身成本效益和競(jìng)爭(zhēng)策略來判斷，比如開源是否能節(jié)省成本、是否會(huì)削弱自身競(jìng)爭(zhēng)優(yōu)勢(shì)等。因此，他認(rèn)為，未來行業(yè)可能會(huì)走向開源與閉源結(jié)合的混合模式。
同時(shí)，開源也帶來了一些新挑戰(zhàn)，比如模型分叉、碎片化和濫用，需要行業(yè)共同探索治理方式。Neil Trevett 堅(jiān)信，隨著行業(yè)的發(fā)展，這些都會(huì)逐步得到解決。
至此，這場(chǎng)圓桌論壇畫上了圓滿的句號(hào)。從訓(xùn)練范式到架構(gòu)演進(jìn)，從數(shù)據(jù)焦慮到開源閉源之爭(zhēng)，再到 Agent 落地與行業(yè)融合，這場(chǎng)由商湯承辦的「模型之問」圓桌論壇，展現(xiàn)了大模型時(shí)代最真實(shí)的技術(shù)分歧，也匯聚了業(yè)界最權(quán)威的思考。
這場(chǎng)硬核辯論，或許正是 AI 行業(yè)走向成熟的重要一步。