實踐項目 返回列表

大模型的未來趨勢與挑戰

2023/11/27 16:06:33

來源:科協之聲 

作者:劉鋒


自(zì)2022年(nián)11月(yuè)起,以ChatGPT為(wèi)典型代表的大模型在全球數字科技(jì)界引起了極大關注。全球範圍内的大模型數量受其影響在不到(dào)一(yī)年(nián)的時間内就(jiù)已超過一(yī)百種。

未标題-1.jpg
截至2023年(nián)10月(yuè),大模型技(jì)術(shù)已經步入了快速發展的階段。在中國(guó),超過10種大模型已完成備案。其中,百度的文心大模型升級至4.0版本後,在理解、生(shēng)成、邏輯和記憶等四項核心能(néng)力上(shàng)均實現了顯著的提升。與此同時,OpenAI的ChatGPT也經曆了一(yī)次重大升級,除了多(duō)模态視覺能(néng)力、DALL·E 3以及語音(yīn)合成API的開(kāi)放(fàng)。最引人注目的升級是,為(wèi)每個(gè)用戶提供了一(yī)種名為(wèi)GPTS的工(gōng)具,使用戶能(néng)夠構建專屬的GPT模型。
微軟公司創始人比爾·蓋茨公開(kāi)表示,自(zì)1980年(nián)首次看(kàn)到(dào)圖形用戶界面以來,以GPT為(wèi)代表的大模型是他所見(jiàn)過的最具革命性的技(jì)術(shù)進步。對于大模型未來的産業(yè)發展趨勢和面臨的挑戰究竟如何,我們可以從(cóng)三個(gè)方面進行探讨。

未标題-2.jpg

其一(yī),人類種群知識庫從(cóng)外化、索引化到(dào)智能(néng)化的三部曲。


     


我們在《崛起的超級智能(néng)》一(yī)書中提出,生(shēng)物(wù)的競争本質上(shàng)是種群知識庫的競争。在過去的幾億年(nián)裡(lǐ),恐龍因為(wèi)滅絕導緻種群知識庫消失為(wèi)0,鲨魚一(yī)直保持在海洋中遊蕩,種群知識庫沒有發生(shēng)大的變化,熊貓因為(wèi)趨于滅絕從(cóng)而種群知識庫不斷萎縮。
隻有人類在近200萬年(nián)裡(lǐ),在知識和智慧上(shàng)不斷擴展和加速,在最近數百年(nián)裡(lǐ)随著(zhe)蒸汽機(jī)、工(gōng)業(yè)革命、核能(néng)的出現,人類種群知識庫出現了巨大的增長(cháng)。特别是互聯網誕生(shēng)後,第一(yī)次将人類的種群知識庫外化成一(yī)個(gè)龐大的網絡知識庫,通(tōng)過萬維網的發明進一(yī)步促使人類種群知識庫急劇擴容。表現在科技(jì)領域就(jiù)是21世紀大量新科技(jì)新概念不斷湧現。
未标題-3.jpg
面對海量的互聯網公共知識,如何索引就(jiù)成了人類必須解決的重要課題。20世紀90年(nián)代,搜索引擎出現了蓬勃發展,其中優秀和典型的代表分别是谷歌(gē)和百度,它們成長(cháng)背後的推動力也是人類種群知識庫發展的必然要求。
互聯網知識庫被索引之後,如何智能(néng)化也就(jiù)成為(wèi)了一(yī)個(gè)重要議題。在過去的近30年(nián)裡(lǐ),以谷歌(gē)、百度為(wèi)代表的搜索引擎公司加大了智能(néng)化的步伐,人工(gōng)智能(néng)的興起也與此有密切的關系。
2022年(nián)OpenAI的ChatGPT成功引發了大模型的興起,标志(zhì)著(zhe)互聯網這個(gè)外化的人類種群知識庫完成了從(cóng)索引化到(dào)智能(néng)化的轉變。但不能(néng)忘記的是,OpenAI ChatGPT的成功離不開(kāi)谷歌(gē)提出的Transformer注意力機(jī)制模型,也離不開(kāi)微軟通(tōng)過Bing搜索引擎提供的海量數據和巨大資金支持。
從(cóng)搜索引擎的發展看(kàn),通(tōng)過激烈的競争,搜索引擎最終形成了若幹個(gè)巨頭公司為(wèi)人類提供互聯網海量數據的索引服務,同樣我們認為(wèi)作為(wèi)搜索引擎的升級版,人類社會(huì)也不需要很多(duō)大模型提供同質的服務。我們判斷包括搜索引擎、大數據、社交網絡等領域擁有優質大數據、人工(gōng)智能(néng)技(jì)術(shù)積累和廣泛應用場景的公司中,在未來的競争中會(huì)脫穎而出一(yī)家或若幹家為(wèi)人類提供集中統一(yī)的智能(néng)服務。


其二,行業(yè)垂直大模型建設思路(lù):繼續提升通(tōng)用大模型智能(néng)水(shuǐ)平。


     


應該指出,當前人類社會(huì)對大模型充滿了熱情,特别在中國(guó),很多(duō)人希望大模型能(néng)夠與金融、法律、工(gōng)業(yè)、農業(yè)、電(diàn)力、建築等等行業(yè)領域結合,從(cóng)而實現快速發展。
其實大模型的成功并不僅僅是參數量大,而是用大規模預訓練+微調的方式,對海量的跨領域知識進行學習時湧現出來新的能(néng)力,而且這些新的能(néng)力往往與創新有關,如翻譯、創作文章、創作圖像等,然而這種創新能(néng)力并不穩定,會(huì)出現“幻覺”和胡編亂造的情況。同時由于神經網絡本身的特點,其可解釋性問題也一(yī)直沒有解決,因此對于需要精密控制或精确結果的産業(yè)領域,大模型并不是可靠的工(gōng)具和技(jì)術(shù)。
還(hái)有一(yī)個(gè)誤區是,認為(wèi)用大模型的訓練方法加上(shàng)行業(yè)産業(yè)的大數據就(jiù)可以形成高(gāo)質量的行業(yè)大模型。這個(gè)觀點并不符合大模型湧現出創新能(néng)力的規律,過于單一(yī)領域的知識反而會(huì)降低(dī)大模型湧現出新能(néng)力的水(shuǐ)平。因此應繼續提高(gāo)ChatGPT、文心一(yī)言、LLama等等通(tōng)用大模型的智能(néng)水(shuǐ)平,通(tōng)過通(tōng)用大模型平台與其他可靠性高(gāo)的人工(gōng)智能(néng)技(jì)術(shù)協同工(gōng)作,并與各個(gè)行業(yè)結合,這種路(lù)徑要比建設專門(mén)的行業(yè)大模型更為(wèi)穩健和有效。


其三,值得期待的大模型未來。


     


大模型的不斷發展和與其他技(jì)術(shù)産品結合的過程将是持續探索和嘗試的過程。無論如何,大模型的出現的确是一(yī)個(gè)革命性的突破,有很多(duō)科學家認同ChatGPT等大模型已經可以突破圖靈測試,未來在智能(néng)和意識的基礎原理上(shàng)也将帶來更多(duō)突破性的啓發。
未标題-4.jpg
在産業(yè)應用上(shàng),大模型與其他不同類型的人工(gōng)智能(néng)技(jì)術(shù)、網絡技(jì)術(shù)、大數據技(jì)術(shù)結合,與不同的辦公、學習、生(shēng)産、生(shēng)活結合會(huì)持續産生(shēng)出具有非凡想象力的應用。例如微軟辦公Office接入GPT-4,由AI驅動的 Microsoft 365 Copilot ,打破了傳統辦公軟件(jiàn)辦公的方式,能(néng)自(zì)動生(shēng)成文檔、電(diàn)子郵件(jiàn)、PPT。百度的文心行業(yè)大模型的數量已經達到(dào)了 11 個(gè),覆蓋能(néng)源電(diàn)力、金融、航天、傳媒、影視、汽車、城(chéng)市(shì)管理等多(duō)個(gè)領域,OpenAI計劃再推出GPT商店。這将類似于蘋果的App Store,讓開(kāi)發者可以在商店中上(shàng)架他們的自(zì)定義GPT,供其他用戶購買和使用。
雖然大模型有著(zhe)令人驚歎的智能(néng)表現,但我們還(hái)需要耐心等待大模型的持續發育和成長(cháng),如果從(cóng)以ChatGPT3.5為(wèi)代表的大模型大規模向人類提供服務算(suàn)起,畢竟它還(hái)是一(yī)個(gè)從(cóng)出生(shēng)來到(dào)全人類面前還(hái)不到(dào)1年(nián)的嬰兒。