最新CCF C3活動來到百度，更多關(guān)于大模型產(chǎn)業(yè)生態(tài)發(fā)展的問題在現(xiàn)場得到了解答。50余位企業(yè)界、學(xué)界專家、研究人員就此進(jìn)行深入探討。

(資料圖片僅供參考)

百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任 吳甜 ，北京航空航天大學(xué) 吳文峻 教授帶來了主題報告分享。

接著， 吳文峻 教授、中國人民大學(xué)高瓴人工智能學(xué)院副院長 竇志成 、百度飛槳總架構(gòu)師 于佃海 、國網(wǎng)智能電網(wǎng)研究院計算及應(yīng)用研究所人工智能總工程師 吳春鵬 、中科曙光智能計算產(chǎn)品事業(yè)部總經(jīng)理 杜夏威 展開高峰對話。

論壇由百度AI技術(shù)生態(tài)總經(jīng)理馬艷軍主持。

大模型產(chǎn)業(yè)生態(tài)

在高峰對話環(huán)節(jié)，來自產(chǎn)學(xué)研的各位專家就大模型發(fā)展態(tài)勢進(jìn)行了探討，涵蓋基礎(chǔ)研究、底層軟硬件支撐、產(chǎn)業(yè)生態(tài)應(yīng)用等多個大模型生態(tài)話題，對科研-產(chǎn)業(yè)、軟件-硬件、行業(yè)應(yīng)用等多個生態(tài)關(guān)系的思考與分析。

在不改變原意基礎(chǔ)上，量子位做了以下梳理。

1、有種觀點是認(rèn)為大模型工程化發(fā)展，科研工作、學(xué)術(shù)研究空間就會被壓縮，如何看待這一觀點？

北京航空航天大學(xué)吳文峻教授 表示，任何新技術(shù)都會帶來很多顛覆性影響。但在AI技術(shù)上，人類還沒有找到一條通往AGI的可行路徑，大語言模型這條路徑看起來可行性最高。后續(xù)大模型在比如認(rèn)知記憶力等方面，還有很多研究工作要做。另一方面，大語言模型也給現(xiàn)有AI方向，比如自然語言、決策等帶來新的研究角度。

中國人民大學(xué)高瓴人工智能學(xué)院副院長竇志成教授 表示，在大家看來，大語言模型這條路徑建立在大規(guī)模算力和經(jīng)費支持上，學(xué)界要展開類似的研究會形成很大的阻礙。

但學(xué)術(shù)界普遍認(rèn)為， 首先必須要做 ，跟上產(chǎn)業(yè)界的同時還能發(fā)現(xiàn)存在的問題；工業(yè)界不會有那么多時間精力去鉆研背后的理論方法； 第二，大模型在其他領(lǐng)域研究方向產(chǎn)生比較大的影響 ，里面會有特別多有意義有價值的科研問題。除此之外，高校還要承擔(dān)起人才培養(yǎng)的重?fù)?dān)。

2、除了算力和應(yīng)用，軟件也是一個重要的方面，特別是深度學(xué)習(xí)框架，那么框架和大模型之間的協(xié)同關(guān)系如何？

百度飛槳總架構(gòu)師于佃海 首先解釋說， 深度學(xué)習(xí)框架位于硬件芯片模型和應(yīng)用之間的關(guān)鍵位置 。

隨著大模型的復(fù)雜性不斷增加，包括預(yù)訓(xùn)練、微調(diào)等，框架需要具備通用性，以支持這些不同的訓(xùn)練環(huán)節(jié)。此外，性能要求也變得更加嚴(yán)格。在這個過程中，框架和硬件之間的協(xié)同也變得至關(guān)重要?？蚣苄枰诓煌布脚_上高效運行，以滿足訓(xùn)練和推理的需求。

除了硬件協(xié)同，框架還需要考慮模型的落地和部署。模型不僅需要訓(xùn)練，還需要在實際應(yīng)用中落地并高效運行。因此，框架的性能和部署能力同樣重要，以實現(xiàn)從訓(xùn)練到應(yīng)用的無縫銜接。

3、大模型在產(chǎn)業(yè)里面真正落地會面臨是哪些挑戰(zhàn)？上下游如何一起聯(lián)動？

國網(wǎng)智能電網(wǎng)研究院計算及應(yīng)用研究所人工智能總工程師 吳春鵬 表示，國網(wǎng)一直在積極致力于構(gòu)建一個完整的產(chǎn)業(yè)生態(tài)系統(tǒng)，而整個電力行業(yè)的發(fā)展對于應(yīng)用端、算力框架以及具體算法都有著緊密關(guān)系。

他還簡單闡述如何讓大模型更好的在電力行業(yè)實際落地，比如把大模型構(gòu)建了國網(wǎng)的多層次生態(tài)系統(tǒng)，細(xì)分為專業(yè)大模型和業(yè)務(wù)小模型，并通過融合通用大模型與電力特點，構(gòu)建更智能的分析和預(yù)測模型。

4、追求通用性的同時，如何平衡大模型在各個領(lǐng)域的需求？

北京航空航天大學(xué) 吳文峻 教授表示，在他看來，無論在何種實踐中，都涉及到一個共同的問題，即如何平衡通用性與實際應(yīng)用，但這同時也引發(fā)了一個問題：

對此，吳文峻認(rèn)為，在未來需要重新考慮現(xiàn)有的思路。或許可以保留一個社會共享的大模型，用于基礎(chǔ)識別知識，同時為某些特定領(lǐng)域提供專業(yè)模型。這些專業(yè)模型可以根據(jù)企業(yè)內(nèi)部數(shù)據(jù)進(jìn)行訓(xùn)練，以滿足特定行業(yè)的需求。

因此，是否可以考慮一種架構(gòu)即 將大模型與中小模型相結(jié)合 ？在訓(xùn)練小模型時，可以同步大模型的整體知識。然后，通過保證整個知識和標(biāo)準(zhǔn)的傳遞，可以確保模型的質(zhì)量和認(rèn)可度。

另外，有些行業(yè)會更希望擁有自己的專屬大模型，所以像內(nèi)存等資源問題也需要關(guān)注。

5、大模型技未來走勢會如何？如果確實形成了一個相對穩(wěn)定的格局，不同層將會在其中發(fā)揮什么作用？

中科曙光智能計算產(chǎn)品事業(yè)部總經(jīng)理杜夏威 認(rèn)為，從大模型底層來看，發(fā)展趨勢重點是 資源同步 ，未來僅憑借技術(shù)的領(lǐng)先和研究的成果并不一定能行，需要將產(chǎn)業(yè)和學(xué)術(shù)界的力量結(jié)合起來。

從這個維度出發(fā)，大模型方向可能會是采用 A+B 的方式。其中，A代表一些基礎(chǔ)模型基座，這些模型具有一定的通用性和強(qiáng)大的泛化能力，能夠為整個模型提供支撐。B則代表行業(yè)大模型，涵蓋了各個領(lǐng)域的基礎(chǔ)數(shù)據(jù)。

國網(wǎng)智能電網(wǎng)研究院計算及應(yīng)用研究所人工智能總工程師 吳春鵬 則表示，大模型在未來可能會成為數(shù)字化基礎(chǔ)設(shè)施的一種重要組成部分，類似于零件，它結(jié)合先進(jìn)的計算技術(shù)和豐富的數(shù)據(jù)，構(gòu)建起基座式的研究平臺，為將來使用模型的人和技術(shù)專家提供支持。

以后可能就像百度提出的應(yīng)用商店模型，類似于在商品上選擇模型的方法，人們可以從中選擇并獲取各種模型，也可以將模型整合到自己的應(yīng)用中。另一方面，在研發(fā)大模型的過程中，也需要考慮如何實現(xiàn)技術(shù)的放手和產(chǎn)能的進(jìn)化，通過更便捷的方式推廣和合作，使技術(shù)能夠更好地為市場和業(yè)務(wù)服務(wù)。

百度飛槳總架構(gòu)師 于佃海 認(rèn)為大模型不僅需要重資產(chǎn)投入，還涉及許多復(fù)雜的技術(shù)問題。同時，即使有了技術(shù)，要使其發(fā)揮出人類的智能也需要設(shè)計更好的方法，并將其穩(wěn)定應(yīng)用在實際目標(biāo)中。從大模型基礎(chǔ)設(shè)施的角度來看，除了構(gòu)建和提供基礎(chǔ)設(shè)施外，還應(yīng)主動考慮為生態(tài)的發(fā)展提供建議，比如 插件機(jī)制 。

中國人民大學(xué)高瓴人工智能學(xué)院副院長 竇志成 教授則從開源和實際落地進(jìn)行了分享——

以Meta的 Llama 和 Llama2 大模型為例，表示目前開源化的聲音越來越響亮，應(yīng)該更加推動開源的力量。另外，他也對“百模大戰(zhàn)”表現(xiàn)出擔(dān)憂，不希望這次還和兩年前GPT-3一樣，一窩蜂做大模型，但因沒有應(yīng)用而無疾而終。

對此，竇志成就特別呼吁 國內(nèi)玩家不用一心撲在搞大模型上 ，做一些能讓大家都能玩得到的應(yīng)用，對中國的產(chǎn)業(yè)發(fā)展更具有意義。

北京航空航天大學(xué) 吳文峻 教授表示，目前的重點是 多模態(tài)大模型 ，未來這些模型可能會逐步從決策進(jìn)化到具有自主學(xué)習(xí)能力，最終走向通用人工智能（AGI）。我們會更關(guān)注開源和商業(yè)之間的平衡，而在這個生態(tài)中，基礎(chǔ)設(shè)施的建設(shè)非常關(guān)鍵。

通用群體智能已初見端倪

除此之外， 百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜 ， 北京航空航天大學(xué)吳文峻 教授帶來了主題報告分享。

首先是百度集團(tuán)副總裁吳甜以 “大模型產(chǎn)業(yè)實踐與文心一言” 為題作報告，介紹了文心大模型的產(chǎn)業(yè)落地實踐和文心一言最新進(jìn)展。

大模型方面，最新文心大模型5月升級到3.5版本，進(jìn)行了了基礎(chǔ)模型升級、精調(diào)技術(shù)創(chuàng)新、知識點增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制新增，相比3月份的版本，效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。

產(chǎn)業(yè)落地實踐上，百度已和多個行業(yè)的帶頭企業(yè)、機(jī)構(gòu)共同研發(fā)行業(yè)大模型，訓(xùn)練出了更適配行業(yè)場景的模型。

根據(jù)IDC相關(guān)報告，百度文心大模型在14個參評模型中拿下12項指標(biāo)的7個滿分，得到“綜合評分第一，算法模型第一，行業(yè)覆蓋第一”三個絕對第一。同時，百度已為社會培養(yǎng)了300萬AI人才，未來還將持續(xù)加大投入力度，為推進(jìn)大模型的落地與發(fā)展持續(xù)做出貢獻(xiàn)。

北航吳文峻教授則聊了聊 通用人工智能的群體智能研究 。當(dāng)前AI發(fā)展已經(jīng)進(jìn)入一個全新歷史階段，特別是在所謂「foundation model」方面，比如超大規(guī)模模型或基座模型。但何時能將這些先進(jìn)技術(shù)在各個行業(yè)的實際應(yīng)用？

他在報告中指出， 大模型要落地應(yīng)用，真正重塑產(chǎn)業(yè)，關(guān)鍵還是基于大模型的智能決策能力發(fā)展 。

要解決基于大語言模型的決策問題，常常需要采用 強(qiáng)化學(xué)習(xí) 方法。在這個過程中，Agent會與環(huán)境不斷互動，觀察環(huán)境狀態(tài)，并通過采取行動來影響環(huán)境，進(jìn)而獲取環(huán)境的獎勵信號，以衡量行動的好壞。他還談到了最近很火的斯坦?！窤I小鎮(zhèn)」。

而針對通用基礎(chǔ)模型存在泛化性弱、穩(wěn)定性差、難實用等突出問題，多模態(tài)LLM模型結(jié)合MDP框架可以提升Agent的感知-認(rèn)知能力，推進(jìn)高層任務(wù)需求的理解和規(guī)劃決策，并形成作為環(huán)境遷移和Reward的生成模型。

有了以上基礎(chǔ)，我們就有可能讓海量知識和物理世界形成對照，提升智能體在新環(huán)境下的智能決策，進(jìn)而形成群體化通用具身智能系統(tǒng)。報告認(rèn)為，大模型開啟了通用人工智能時代，讓群體智能研究也進(jìn)入了全新階段——

通用群體智能已經(jīng)初現(xiàn)端倪 。

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時間獲知前沿科技動態(tài)

關(guān)鍵詞：