通(tōng)過交流，我們創造并改變了我們生(shēng)活的世界——其中既包括我們的價值觀，也包括我們的工(gōng)具。大型語言模型是強大的工(gōng)具，可以幫助我們自(zì)動化和簡化複雜(zá)的任務，并有可能(néng)徹底改變我們與技(jì)術(shù)交互的方式。然而，它們并非沒有限制和風險。

交流離不開(kāi)語言。與其他人工(gōng)智能(néng)應用相(xiàng)比，語言是一(yī)個(gè)更加棘手的問題，它的風險也更高(gāo)。自(zì)然語言處理（NLP， natural language processing）與一(yī)些互聯網巨頭的核心業(yè)務密切相(xiàng)關，例如谷歌(gē)的搜索與Meta的社交媒體參與。作為(wèi)一(yī)個(gè)社會(huì)，我們也許從(cóng)未如此清醒的意識到(dào)語言造成傷害和貶低(dī)的危險，也從(cóng)未如此清醒地意識到(dào)我們的語言中微妙的、結構性的、往往是無意地将人予以他者化的形式。

ChatGPT正在被過億用戶使用，其中許多(duō)人沒有接受過任何關于如何合倫理地使用這樣的系統，或如何确保系統不會(huì)造成傷害的教育。除了區分人類和機(jī)器(qì)的困難，我們也需要更多(duō)的研究來幫助我們了解人工(gōng)智能(néng)将會(huì)怎樣影響我們與其他人的互動。

這一(yī)切将帶來一(yī)個(gè)全新的交流環境。在一(yī)個(gè)日益由可以模仿人類自(zì)然語言能(néng)力的人工(gōng)智能(néng)工(gōng)具主導的世界中，真實和信任意味著(zhe)什麽？偏見(jiàn)和錯(cuò)誤信息又(yòu)将導緻什麽？很多(duō)問題超越了技(jì)術(shù)範圍。傳播學者需要成為(wèi)有關人工(gōng)智能(néng)技(jì)術(shù)發展的對話的中心。

由于ChatGPT爆火的緣故，大型語言模型（LLM， large language model）集萬千寵愛于一(yī)身。但它們是什麽呢(ne)？簡單地說，LLMs是一(yī)種計算(suàn)機(jī)系統，被設計用來學習文本語料庫的統計屬性，以生(shēng)成模仿原始文本風格和内容的新文本。換言之，LLMs能(néng)夠生(shēng)成現實而較為(wèi)準确的新文本，看(kàn)起來像是由一(yī)個(gè)真實的人撰寫的。

LLMs的核心基于一(yī)種強大的機(jī)器(qì)學習技(jì)術(shù)，即深度學習。深度學習是人工(gōng)智能(néng)的一(yī)個(gè)子集，能(néng)夠自(zì)動學習數據中的複雜(zá)模式。深度學習算(suàn)法的靈感來自(zì)于大腦(nǎo)從(cóng)經驗中學習的能(néng)力，它們通(tōng)常使用神經網絡來實現——計算(suàn)系統的結構與大腦(nǎo)非常相(xiàng)似。事(shì)實上(shàng)，如果不使用先進的水(shuǐ)印策略，就(jiù)不可能(néng)準确區分由人類頭腦(nǎo)所寫的文本和由高(gāo)度可并行的人工(gōng)神經網絡所産生(shēng)的文本，後者的神經連接數要少得多(duō)。

傳統機(jī)器(qì)學習算(suàn)法和深度學習算(suàn)法之間的一(yī)個(gè)關鍵區别是，深度學習算(suàn)法可以擴展到(dào)更大的數據集，它們可以從(cóng)非結構化或未标記的數據中學習。這使得它們非常适合于自(zì)然語言處理等任務，這也是LLMs的用途。大型語言模型現在被認為(wèi)是人工(gōng)智能(néng)的前沿，因其有可能(néng)執行需要創造力、推理和理解自(zì)然語言的任務。

大型語言模型于2017年(nián)在谷歌(gē)大腦(nǎo)（Google Brain）開(kāi)始使用，研究人員(yuán)推出了transformer（轉換器(qì)）架構，它是自(zì)然語言處理中使用的一(yī)個(gè)基于深度學習模型的神經網絡，訓練可以實現并行化，這為(wèi)訓練真正的大模型首次提供了機(jī)會(huì)。此後，大型語言和文本-圖像模型在領先的技(jì)術(shù)公司中激增，包括谷歌(gē)（BERT、GLaM、LaMDA、Chinchilla、PaLM）、Facebook/Meta（OPT-175B、Galactica、BlenderBot、LLaMA）、英偉達和微軟（Megatron-Turing），當然還(hái)有OpenAI，微軟是主要的投資者（GPT-3/4用于文本，DALL-E2用于圖像，Whisper用于語音(yīn)）。在線社區，如Midjourney，以及Hugging Face等開(kāi)源供應商，也創造了生(shēng)成模型。

新的玩家還(hái)在不斷進場。2023年(nián)3月(yuè)，彭博社推出BloombergGPT（Bloomberg Professional Services， 2023），系根據專有來源的金融數據訓練的LLM，“在金融任務上(shàng)比現有的模型有明顯的優勢，而不影響一(yī)般LLM的基準性能(néng)”（Wu， 2023）。4月(yuè)，資助開(kāi)發“穩定擴散”（Stable Diffusion）等開(kāi)源生(shēng)成式人工(gōng)智能(néng)模型的Stability AI宣布推出StableLM語言模型套件(jiàn)。在為(wèi)多(duō)個(gè)領域（包括圖像、音(yīn)頻、視頻、3D和生(shēng)物(wù)學）開(kāi)發模型之後，這是該開(kāi)發商首次加入目前由技(jì)術(shù)大腕主導的語言模型遊戲（Dey， 2023）。同在4月(yuè)，亞馬遜在AWS中推出Bedrock服務，在一(yī)個(gè)平台上(shàng)提供多(duō)種生(shēng)成式人工(gōng)智能(néng)模型。例如，Stability AI的Stable Diffusion圖像生(shēng)成器(qì)，可以将文本變成圖像；AI21實驗室的Jurassic-2模型是一(yī)個(gè)多(duō)語言LLM，可以生(shēng)成德語、西(xī)班牙語、法語、葡萄牙語、荷蘭語和意大利語文本；Anthropic的Claude是ChatGPT的一(yī)個(gè)對手，可以使工(gōng)作流程自(zì)動化、回答問題，并與用戶進行交流。與微軟和Alphabet相(xiàng)比，亞馬遜可能(néng)看(kàn)起來姗姗來遲，但它的做法相(xiàng)當精明。通(tōng)過Bedrock，亞馬遜不隻是提供對上(shàng)述第三方平台的訪問，也提供對其專有的大型語言模型Titan的訪問，這可能(néng)使亞馬遜變成那些希望使用LLMs并根據其需求構建應用程序的企業(yè)的首選平台（Chauhan， 2023）。

時至今日，除了蘋果之外，美國(guó)每家主要科技(jì)公司都宣布了自(zì)己的LLM。中國(guó)的科技(jì)公司當然亦不甘落後：2023年(nián)3月(yuè)，百度推出文心一(yī)言并在官宣後為(wèi)新浪财經、澎湃新聞、愛奇藝、美的集團、東風日産等一(yī)系列企業(yè)提供接入服務；2022年(nián)，阿裡(lǐ)達摩院發布通(tōng)義大模型，并在2023年(nián)4月(yuè)正式推出通(tōng)義千問；再加上(shàng)2022年(nián)騰訊對外披露的混元大模型和2021年(nián)華為(wèi)發布的盤古大模型等等，不一(yī)而足，人稱“萬模大戰”。在TB級文本數據上(shàng)訓練的大型語言模型成為(wèi)高(gāo)科技(jì)行業(yè)最熱門(mén)的一(yī)角。

LLMs對大型科技(jì)公司很重要，因為(wèi)它們可以實現新的産品和服務，從(cóng)而吸引更多(duō)的用戶，産生(shēng)更多(duō)的收入，并創造更多(duō)的價值。例如，LLMs可用于改進搜索引擎、社交網絡、雲計算(suàn)、數字助理、電(diàn)子商務、遊戲、教育、醫(yī)療保健等。此外，科技(jì)公司可以用LLMs來改進企業(yè)的現有産品線。例如，無論是語音(yīn)數字助理還(hái)是為(wèi)營銷人員(yuán)自(zì)動投放(fàng)廣告，谷歌(gē)都将人工(gōng)智能(néng)作為(wèi)未來的突破性技(jì)術(shù)，使下(xià)一(yī)代服務和設備更加智能(néng)化、功能(néng)更強。

生(shēng)成式模型的重要價值之一(yī)是它們與生(shēng)産力應用程序的整合。例如，微軟在企業(yè)Office套件(jiàn)市(shì)場中有明顯的優勢，正在将生(shēng)成式模型整合到(dào)Word、Outlook和Teams等應用程序中。中國(guó)科技(jì)巨頭阿裡(lǐ)巴巴在生(shēng)成式人工(gōng)智能(néng)方面的最新努力，在某種程度上(shàng)讓人聯想到(dào)微軟，即通(tōng)過讓人們用自(zì)然語言來描述他們想要建立的東西(xī)，令各種應用程序變得更容易使用。阿裡(lǐ)巴巴宣布，通(tōng)義千問将被整合到(dào)公司的各項業(yè)務中，以改善用戶體驗，客戶和開(kāi)發人員(yuán)可以通(tōng)過利用該模型創建定制的人工(gōng)智能(néng)功能(néng)。

同時，人工(gōng)智能(néng)初創企業(yè)經常以超過10億美元的估值籌集資金。例如，6月(yuè)13日，英國(guó)人工(gōng)智能(néng)初創公司Synthesia表示，它從(cóng)風險投資公司Accel和Nvidia旗下(xià)NVentures牽頭的一(yī)輪融資中籌集了約9000萬美元，估值為(wèi)10億美元。該公司的技(jì)術(shù)幫助包括亞馬遜在内的5萬多(duō)家企業(yè)創建用于教學和企業(yè)視頻的定制AI化身。這表明，大量企業(yè)希望将傳統視頻制作轉變為(wèi)數字工(gōng)作流程（Reuters， 2023）。Synthesia隻是一(yī)個(gè)人工(gōng)智能(néng)初創企業(yè)快速獲得獨角獸地位的例子。在利率上(shàng)升和高(gāo)通(tōng)脹導緻的更廣泛的融資放(fàng)緩中，人工(gōng)智能(néng)初創企業(yè)已經成為(wèi)2023年(nián)投資的一(yī)個(gè)亮點。

就(jiù)這樣，大型通(tōng)用人工(gōng)智能(néng)模型被業(yè)界宣傳為(wèi)“基礎性的”，是該領域科學進步的主要轉折點。這類叙述分散了“規模病症”的注意力，這些病症每天都變得更加根深蒂固：大規模的人工(gōng)智能(néng)模型主要由大科技(jì)公司控制，因為(wèi)它們需要巨大的計算(suàn)和數據資源，并且還(hái)引發了圍繞歧視、隐私和安全漏洞以及負面環境影響等多(duō)方面的擔憂。

例如，GPT-3最初是在45TB的數據上(shàng)訓練的，并采用了1750億個(gè)參數來進行預測；GPT-3的一(yī)次訓練就(jiù)花費(fèi)了1200萬美元（Davenport， Mittal， 2022）。另據報(bào)道，OpenAI使用1萬個(gè)英偉達GPU訓練ChatGPT（Goldman， 2023），而ChatGPT每天給OpenAI帶來70萬美元的成本（Gardizy， Ma，2023）。而最新的GPT-4的訓練耗資超過1億美元（Knight， 2023）。大多(duō)數公司沒有數據中心能(néng)力或雲計算(suàn)預算(suàn)來從(cóng)頭開(kāi)始訓練這類模型，許多(duō)現成的、預訓練的人工(gōng)智能(néng)模型，作為(wèi)雲人工(gōng)智能(néng)服務的一(yī)部分提供，而此市(shì)場本已集中在大科技(jì)公司手中，如AWS（亞馬遜）、GCP（谷歌(gē)雲平台）和Azure（微軟）。這些雲供應商每年(nián)總共花費(fèi)超過1000億美元的資本，以确保擁有最全面、最可靠和最具成本競争力的平台。特别是在生(shēng)成式人工(gōng)智能(néng)方面，它們也受益于供應限制，因為(wèi)它們可以優先獲得稀缺的硬件(jiàn)（如Nvidia A100和H100 GPU）（Bornstein， Appenzeller， Casado， 2023）。

大科技(jì)公司可能(néng)會(huì)保持先發優勢，因為(wèi)它們有時間和市(shì)場經驗來磨練基礎語言模型，并發展寶貴的内部專業(yè)知識。因此，較小(xiǎo)的企業(yè)或初創公司可能(néng)難以成功進入這一(yī)領域，從(cóng)而使得LLM的巨大處理能(néng)力集中在少數幾家大科技(jì)公司手中。

2021年(nián)，埃米莉·本德（Emily M. Bender）博士、蒂姆尼特·蓋布魯（Timnit Gebru）博士、安吉麗娜·麥克米蘭-梅傑（Angelina McMillan-Major）和瑪格麗特·米切爾（Margaret Mitchell）博士在一(yī)篇題為(wèi)《論随機(jī)鹦鹉的危險》的論文中對LLM的潛在成本和危害提出警告（Bender et al.， 2021），這篇論文導緻谷歌(gē)将蓋布魯和米切爾從(cóng)人工(gōng)智能(néng)倫理團隊的共同領導位置上(shàng)趕走（Metz， Wakabayashi， 2020；Metz， 2021）。該論文在确定困擾LLM的規模病症方面有先見(jiàn)之明。當公衆讨論被圍繞著(zhe)ChatGPT和其他LLMs的令人窒息的炒作所吞噬之際，這項研究提出了清醒的警告：我們需要讨論社會(huì)是否應該建立這類技(jì)術(shù)，而不是如何建立，更不是不加批判地将其作為(wèi)進步的同義詞而加以全盤接受。本德等人問道：“越來越大的語言模型是不可避免的還(hái)是必須的？這一(yī)研究方向有什麽成本，我們在追求它之前應該考慮什麽？”

擇其要者，大型語言模型可見(jiàn)的成本就(jiù)有：

環境和财務成本

LLMs的訓練需要大量的能(néng)源，并産生(shēng)大量的二氧化碳排放(fàng)。在GPU上(shàng)訓練一(yī)個(gè)BERT基礎模型所需的能(néng)量與一(yī)次橫跨美國(guó)的飛(fēi)行一(yī)樣多(duō)（Bender et al.， 2021）。大多(duō)數雲計算(suàn)供應商的能(néng)源不是來自(zì)可再生(shēng)能(néng)源，而且世界上(shàng)許多(duō)能(néng)源也不是碳中和的。此外，哪怕是可再生(shēng)能(néng)源，對環境來說仍然是昂貴的。數據中心為(wèi)了滿足越來越多(duō)的計算(suàn)需求，占用了綠色能(néng)源的其他潛在用途，為(wèi)此，迫切需要節能(néng)型的模型架構和訓練模式。

環境問題與種族問題的交彙，意味著(zhe)被邊緣化的人和來自(zì)多(duō)數世界/全球南(nán)方的人更有可能(néng)體驗到(dào)能(néng)源消耗和二氧化碳排放(fàng)增加所帶來的傷害，盡管他們也是最不可能(néng)體驗到(dào)這種模型的好處的一(yī)群。碳足迹将取決于能(néng)源的使用和正在使用的能(néng)源的碳強度。不僅僅是LLMs有很大的能(néng)源影響，而且其中的碳影響将首先為(wèi)那些沒有從(cóng)這項技(jì)術(shù)中受益的人帶來成本。所以，當我們做成本效益分析時，重要的是要考慮到(dào)誰在得到(dào)好處，誰在支付成本，因為(wèi)兩者不是同一(yī)批人。

此外，進入和訓練這些模型的成本很高(gāo)，這意味著(zhe)隻有一(yī)小(xiǎo)部分全球精英能(néng)夠發展并受益于LLMs。由于其複雜(zá)的性質，它們的建立和維護可能(néng)是困難和昂貴的。它們還(hái)需要大量的訓練數據，而這些數據可能(néng)很難獲得，處理起來也非常昂貴。由此，大規模算(suàn)力會(huì)将LLMs限制于隻有資源最豐富的公司和研究者才能(néng)使用，而把小(xiǎo)型開(kāi)發商排除在外。所以，環境和财務成本應該成為(wèi)自(zì)然語言處理研究中的首要考慮因素。

不負責任的訓練數據 

使用大量未經整理的訓練數據集有可能(néng)創造出鞏固主導性、霸權性觀點的語言模型。這些訓練數據集的龐大規模并不能(néng)保證多(duō)樣性，因為(wèi)它們往往是從(cóng)網站上(shàng)抓取來的，而這些網站由于互聯網接入不足、代表性不足、過濾或騷擾等問題而排除了邊緣化人群的聲音(yīn)。這些數據集有“價值鎖定”的風險，或許會(huì)将有害的偏見(jiàn)編碼到(dào)難以徹底審計的語言模型中。

如果模型是在過濾有限的大量互聯網數據上(shàng)訓練出來的，它們就(jiù)會(huì)吸收事(shì)實和錯(cuò)誤信息、有偏見(jiàn)的内容和公平的内容、有害的材料和無害的材料。如果沒有辦法在回答提示之前評估這些标準，LLMs就(jiù)有可能(néng)陷入複制、放(fàng)大和傳播有問題的内容和錯(cuò)誤信息的危險。

“随機(jī)鹦鹉”的誕生(shēng)

本德等人進一(yī)步警告說，對語言模型的追求可能(néng)是一(yī)個(gè)誤導性的研究方向。她們觀察到(dào)，語言模型就(jiù)好比“随機(jī)鹦鹉”（stochastic parrot），“根據關于如何組合的概率信息，胡亂地将它在龐大的訓練數據中觀察到(dào)的語言形式序列[縫合]在一(yī)起，但沒有任何對意義的參考”（Weil， 2023）。也就(jiù)是說，大型語言模型善于生(shēng)成令人信服的語言，但實際上(shàng)并不理解它所處理的語言的含義。

“随機(jī)鹦鹉”的比喻突出了兩個(gè)重要的局限性：第一(yī)，學習機(jī)器(qì)所作的預測基本上(shàng)是在重複數據的内容，加上(shàng)一(yī)些由模型的限制造成的噪音(yīn)（或随機(jī)性）。第二，機(jī)器(qì)學習算(suàn)法并不了解它所學習的問題。它無法得知自(zì)己什麽時候在重複一(yī)些不正确的、脫離上(shàng)下(xià)文的或令社會(huì)感覺不适的東西(xī)。由于這些局限性，學習機(jī)器(qì)可能(néng)會(huì)産生(shēng)“危險的錯(cuò)誤”（Lindholm et al.， 2022）。

ChatGPT的不可靠性會(huì)給任何使用它來生(shēng)成相(xiàng)應文本的機(jī)構帶來相(xiàng)當大的法律、财務和聲譽風險。正如沃倫·巴菲特（Warren Buffett）所說：“建立聲譽需要20年(nián)，而毀掉聲譽隻需要5分鍾。”如果LLM用于重要任務，它可能(néng)會(huì)創建一(yī)種新的職業(yè)（LLM事(shì)實檢查員(yuán)）和一(yī)種新的保險範圍（為(wèi)了彌補LLM 錯(cuò)誤）。

進一(yī)步地說，随機(jī)鹦鹉的問題可以被看(kàn)作是人工(gōng)智能(néng)和機(jī)器(qì)學習的一(yī)個(gè)更普遍的挑戰：如何确保模型是真正的學習和推理，而不是僅僅去記憶數據當中的模式？随著(zhe)模型的規模和複雜(zá)性不斷增長(cháng)，以及它們越來越多(duō)地被用于醫(yī)療保健、金融和運輸等高(gāo)風險的應用中，這一(yī)挑戰顯得尤為(wèi)突出。

由此觀之，當模型過于依賴複制語言模式而并不真正理解其含義時，随機(jī)鹦鹉問題就(jiù)會(huì)出現。如果不加以控制，随機(jī)鹦鹉會(huì)對人工(gōng)智能(néng)的發展和部署，以及依賴這些技(jì)術(shù)完成重要任務的用戶産生(shēng)嚴重後果。這凸顯了通(tōng)過仔細的模型設計、評估和持續監測來解決此問題的重要性。

最終，我們需要問自(zì)己，為(wèi)什麽要把人工(gōng)智能(néng)的未來全部押注在大型語言模型一(yī)條路(lù)上(shàng)？紐約大學教授兼Meta首席AI科學家楊樂昆（Yann LeCun）就(jiù)認為(wèi)LLM是“一(yī)條下(xià)坡路(lù)”，遠(yuǎn)離了通(tōng)往更強大的AI的道路(lù)（The Economist， 2023）。“大型語言模型能(néng)有多(duō)聰明，能(néng)有多(duō)準确，都是有限度的，因為(wèi)它們沒有現實世界的經驗，而這确實是語言的基本現實”。他指出，人類所學的大部分内容都與語言無關。“我們學習如何投擲籃球，讓它穿過籃圈”，深度學習的另一(yī)位先驅者傑弗裡(lǐ)·辛頓（Geoffrey Hinton）說：“我們根本不使用語言來學習。我們從(cóng)試驗和錯(cuò)誤中學習。”（Smith， 2023）

就(jiù)算(suàn)語言是發展人工(gōng)智能(néng)的重要途徑，事(shì)情也很明顯：無論LLMs及其訓練數據集變得多(duō)麽龐大，它們也永遠(yuǎn)無法像我們一(yī)樣學習和理解我們的語言。吊詭的是，語言模型的限制導緻了一(yī)種研究趨勢，即專注于研究這類模型的知識和行為(wèi)。換言之，人類正在學習LLMs的語言，并尋找更好地與它們溝通(tōng)的方法。

這是因為(wèi)，語言模型是神經網絡，根據從(cóng)網絡收集的數據進行訓練。經過訓練後，模型可以接收提示并預測其後的單詞。神經網絡越大，模型的學習能(néng)力就(jiù)越強。數據集越大，模型接觸不同單詞序列的機(jī)會(huì)就(jiù)越大，生(shēng)成文本時就(jiù)越準确。

可問題是，人類語言不僅僅是文本。事(shì)實上(shàng)，語言是一(yī)種将信息從(cóng)一(yī)個(gè)大腦(nǎo)傳輸到(dào)另一(yī)個(gè)大腦(nǎo)的壓縮方式。我們的談話經常忽略共享知識，例如視覺和聽覺信息、世界的物(wù)理體驗、過去的談話、我們對人和物(wù)體行為(wèi)的理解、社會(huì)結構和規範等。

正如楊樂昆和紐約大學計算(suàn)機(jī)科學系博士後雅各布·布朗甯（Jacob Browning）在最近的一(yī)篇文章中所寫到(dào)的，“僅靠語言訓練的系統永遠(yuǎn)不會(huì)接近人類智力，即使從(cóng)現在開(kāi)始訓練直到(dào)宇宙熱寂”。雖然兩位科學家也指出，如果我們停留在表面上(shàng)，語言模型“無疑會(huì)接近（人類智能(néng)）。而且，在許多(duō)情況下(xià)，表面就(jiù)足夠了”，但是我們絕不應該把LLMs擁有的淺層理解與人類從(cóng)觀察世界景象、探索世界、在世界中進行實驗以及與不同文化和其他人互動中獲得的深層理解相(xiàng)混淆（Browning， LeCun， 2022）。

所以，假如我們用“語言的統計模型”而不是“大型語言模型”來描述這種人工(gōng)智能(néng)技(jì)術(shù)，是否會(huì)帶來更清楚的認知？這樣會(huì)使我們認識到(dào)，統計推理肯定不是人類合作、創造、協調和競争的全部故事(shì)。

所有人類的知識最終都能(néng)被抓進機(jī)器(qì)的說法是沒有意義的。我們隻能(néng)把可以用比特串表示的知識放(fàng)入機(jī)器(qì)。像體育、音(yīn)樂、木(mù)匠(jiàng)大師(shī)或創意寫作這樣的技(jì)能(néng)是無法精确描述和記錄的，技(jì)能(néng)的描述并不就(jiù)能(néng)夠賦予表演的能(néng)力。即使它們可以被代表，表演技(jì)能(néng)的形式也是無法被記錄的——它包括表演者的想法和思考，他們的神經元記憶狀态，以及他們的神經肌肉化學模式。所有這些沒有記錄的和無法記錄的信息的數量遠(yuǎn)遠(yuǎn)超出了可能(néng)存儲在機(jī)器(qì)數據庫中的範圍。與人類的能(néng)力相(xiàng)比，大型語言模型所能(néng)執行的任何功能(néng)都是很小(xiǎo)的。

我們是否已經被大型語言模型迷住了，以至于沒有看(kàn)到(dào)我們利用語言所做的其他事(shì)情？我們建立關系。我們互相(xiàng)關照(zhào)。我們認識并駕馭我們的情緒。我們建立并行使權力。我們做出承諾，并貫徹執行。我們創建組織和社會(huì)。我們創造傳統和曆史。我們為(wèi)行動負責。我們打造信任。我們培養智慧。我們愛。我們想象以前從(cóng)未想象過的東西(xī)。所有這些都不是統計學上(shàng)的。大型語言模型的能(néng)力與人類的能(néng)力之間存在著(zhe)巨大的鴻溝。

像LLMs這樣的大規模人工(gōng)智能(néng)模型在過去一(yī)段時間裡(lǐ)中受到(dào)了最多(duō)的炒作，也帶來了最大的恐懼。圍繞這些系統的興奮和焦慮都有助于強化如下(xià)概念，即這些模型是“基礎性的”，盡管它們無法對人類提示作出有意義的回應的例子數不勝數。值得注意的是，這些模型之所以作為(wèi)“基礎性”的技(jì)術(shù)被引入，其實意是在将它們等同于無可置疑的科學進步，成為(wèi)“通(tōng)用人工(gōng)智能(néng)”（這是另一(yī)個(gè)模糊的術(shù)語，讓人聯想起科幻小(xiǎo)說中關于取代或超越人類智能(néng)的概念）道路(lù)上(shàng)的踏腳石，從(cóng)而使其被廣泛采用成為(wèi)必然。

在最近的一(yī)次采訪中，OpenAI首席執行官山姆·阿爾特曼（Sam Altman）說：“我認為(wèi)我們正處于巨大模型時代的終結，我們将以其他方式讓模型變得更好。”（Miller， 2023）言下(xià)之意是，未來的進展不會(huì)來自(zì)于将模型做得更大。

而這些“其他方式”是什麽？一(yī)個(gè)可能(néng)的途徑是在更多(duō)的高(gāo)質量數據上(shàng)對模型進行微調，創造更好的訓練技(jì)術(shù)。人工(gōng)管策的數據集可能(néng)是非常有價值的，但創建成本高(gāo)，速度慢(màn)。根據大型語言模型的現狀，筆者認為(wèi)，有四大發展趨勢值得高(gāo)度關注：

第一(yī)，我們需要緻力于教會(huì)語言模型表達不确定性

在大多(duō)數情況下(xià)，人類知道自(zì)身的局限性（即使他們不直接承認）。他們可以表達不确定和懷疑，并讓對話者知道他們對自(zì)己所傳授的知識有多(duō)自(zì)信。而與此相(xiàng)對照(zhào)，語言模型總是對任何提示都給出現成的答案，即使它們的輸出是毫無意義的。神經網絡通(tōng)常提供某個(gè)預測正确概率的數值。然而就(jiù)語言模型而言，這些概率分數并不代表模型對提示響應的可靠性的信心。

OpenAI和牛津大學的研究人員(yuán)發表的一(yī)篇論文表明，可以通(tōng)過教LLMs“用語言表達它們的不确定性”來彌補這一(yī)缺點。可對 LLMs進行微調，以使用自(zì)然語言表達認知上(shàng)的不确定性，研究者将之描述為(wèi)“語言化概率”（verbalized probability），即用語言表達出來的概率。這是一(yī)個(gè)重要的發展方向，尤其是在用戶希望将語言模型的輸出轉化為(wèi)某個(gè)動作的應用程序中。研究人員(yuán)建議，表達不确定性可以令語言模型誠實。“如果一(yī)個(gè)誠實的模型出現一(yī)個(gè)誤導或惡意的内部狀态，那麽它可以将這種狀态傳達給可采取相(xiàng)應行動的人類”（Lin et al.， 2022）。

第二，與其緻力于模型之大，不如專攻特定模型

鑒于LLMs不理解它們所處理的語言，也不理解所收到(dào)的提示和自(zì)己的回應，所以補救辦法一(yī)是靠規模的力量，即訓練數據和模型參數的巨大規模，二是靠專業(yè)的力量，即在為(wèi)特定行業(yè)或領域（如醫(yī)療保健和醫(yī)學）定制開(kāi)發更專門(mén)的模型的情況下(xià)，有針對性地管策訓練數據，這将有助于解決LLMs在涉及特定問題時的某些局限性。

想象一(yī)下(xià)，像ChatGPT這樣的LLM已經在最好的醫(yī)學文獻上(shàng)接受了訓練，但訓練數據當中也有讨論健康問題的Reddit線程。人工(gōng)智能(néng)有時可以通(tōng)過檢索和參考高(gāo)質量的信息來回應，但其他時候它通(tōng)過使用完全不可靠的Reddit信息來回應。事(shì)實上(shàng)，假如醫(yī)學文獻中沒有這些信息（例如一(yī)種非常罕見(jiàn)的疾病），它更有可能(néng)編造這些信息（此即人工(gōng)智能(néng)行業(yè)常說的幻覺）。比爾·蓋茨（Bill Gates）曾預想過，ChatGPT或類似的大型語言模型有一(yī)天可以為(wèi)沒有機(jī)會(huì)看(kàn)醫(yī)生(shēng)的人提供醫(yī)療建議（Trang， 2023），然而你如何能(néng)相(xiàng)信一(yī)個(gè)容易産生(shēng)幻覺的機(jī)器(qì)的建議？

所以我們需要通(tōng)過使用較小(xiǎo)和較高(gāo)質量的數據集對特定的知識領域進行訓練。例如，擁有數十億參數的大型臨床語言模型可以利用電(diàn)子健康記錄中的非結構化文本，幫助提取醫(yī)學概念和回答醫(yī)學問題，預測疾病或再入院風險，并總結臨床文本。而一(yī)個(gè)專門(mén)為(wèi)法律行業(yè)設計的模型可以接受法律術(shù)語和行話的訓練，使其更好地處理法律文件(jiàn)。

像BloombergGPT這樣的例子表明，紮根于特定領域的企業(yè)能(néng)夠使用免費(fèi)提供的、現成的人工(gōng)智能(néng)方法，處理大量的專有數據。與OpenAI的GPT3/4這樣的“基礎性”模型不同，彭博社的模型是為(wèi)特定任務而設計的。它在公司多(duō)年(nián)來收集的大量金融文本上(shàng)專門(mén)訓練，為(wèi)的是創建一(yī)個(gè)對金錢(qián)和商業(yè)能(néng)夠産生(shēng)特别流利的認知的模型。在用于創建彭博社模型的數據中，約有一(yī)半來自(zì)網絡上(shàng)的非金融來源，包括GitHub、YouTube字幕和維基百科。但彭博社還(hái)為(wèi)自(zì)己的模型添加了1000多(duō)億單詞，來自(zì)一(yī)個(gè)名為(wèi)FinPile的專有數據集，其中包括該公司在過去20年(nián)中積累的金融數據，内含證券文件(jiàn)、企業(yè)新聞發布、彭博社新聞報(bào)道、其他出版物(wù)的報(bào)道，以及專注于金融網頁的網絡爬行等。事(shì)實證明，添加特定的培訓材料可以提高(gāo)金融任務的準确性和性能(néng)。彭博社正計劃将其GPT整合到(dào)通(tōng)過公司終端産品訪問的功能(néng)和服務中，盡管彭博社還(hái)未有計劃推出ChatGPT式聊天機(jī)器(qì)人（Leswing， 2023）。

第三，高(gāo)質量的數據将成為(wèi)LLM稱霸的新戰場

限制LLM持續改進的最重要限制是可用的訓練數據量。《經濟學人》報(bào)道說，2022年(nián)10月(yuè)發表的一(yī)篇論文得出的結論是，“高(gāo)質量語言數據的存量将很快耗盡，可能(néng)就(jiù)在2026年(nián)之前”（The Economist， 2023）。肯定有更多(duō)可用的文本，但它們被一(yī)小(xiǎo)塊一(yī)小(xiǎo)塊地鎖定在公司數據庫或個(gè)人設備上(shàng)，無法以Common Crawl允許的規模和低(dī)成本加以訪問。這種數據稀缺對LLM的進一(yī)步發展提出了挑戰。

2023年(nián)4月(yuè)18日，Reddit宣布，它将開(kāi)始對其API的訪問收費(fèi)（Isaac， 2023）。這一(yī)決定是在Twitter對其API實施類似限制之後做出的（Mehta，2023）。近年(nián)來，Reddit的系列聊天成為(wèi)谷歌(gē)、OpenAI和微軟等公司的免費(fèi)教具。這些公司使用Reddit的對話來幫助開(kāi)發巨型人工(gōng)智能(néng)系統。然而現在，Reddit聯合創始人兼首席執行官史蒂夫·赫夫曼（Steve Huffman）稱：“我們不需要把所有這些價值免費(fèi)提供給世界上(shàng)最大的一(yī)些公司。”

随即，程序員(yuán)問答網站Stack Overflow也宣布将開(kāi)始對其 API收費(fèi)。首席執行官普拉桑斯·錢(qián)德拉塞卡爾（Prashanth Chandrasekar）表示：“我們非常支持 Reddit 的做法”，“為(wèi)LLM提供動力的社區平台絕對應該因其貢獻而得到(dào)補償，這樣像我們這樣的公司就(jiù)可以重新注資到(dào)社區，讓其繼續蓬勃發展。”（Dave，2023）

Reddit和Stack Overflow等平台為(wèi)微調LLM提供了快速訪問具體主題和問題的寶貴數據，而這些平台的所有者正意識到(dào)它們所掌握的數據的價值。數據市(shì)場日益激烈的競争可能(néng)推動行業(yè)走向更少的共享和更多(duō)的貨币化。不幸的是，激進的貨币化将進一(yī)步增強能(néng)夠負擔API成本的大型科技(jì)公司的能(néng)力。相(xiàng)應地，小(xiǎo)型實驗室和資金緊張的初創公司将不得不處理手頭可用的低(dī)質量數據。

第四，開(kāi)源模型可以成為(wèi)大科技(jì)公司封閉服務的替代品

最先進的LLM需要巨大的計算(suàn)預算(suàn)和深厚的機(jī)器(qì)學習專業(yè)知識，所以很少有機(jī)構能(néng)夠從(cóng)頭開(kāi)始訓練它們。然而，那些擁有資源和專業(yè)知識的機(jī)構越來越多(duō)地不開(kāi)放(fàng)模型（無論是數據、源代碼或深度學習的秘方——模型權重）供公衆監督，而是依靠API分發。

這就(jiù)是開(kāi)源人工(gōng)智能(néng)可以介入的地方，它使獲得LLM的機(jī)會(huì)民(mín)主化。各種社區平台正在努力創建開(kāi)源的模型，以替代大科技(jì)公司提供的封閉的專有服務。這些努力是為(wèi)了防止少數富有的公司在快速增長(cháng)的生(shēng)成式人工(gōng)智能(néng)市(shì)場上(shàng)擁有過多(duō)的權力。

例如，我們開(kāi)始看(kàn)到(dào)Anthropic、Cohere和Character.ai等公司建立的LLMs更接近OpenAI的性能(néng)水(shuǐ)平，它們在類似的數據集上(shàng)訓練，并采用類似的模型架構。“穩定擴散”的例子表明，如果開(kāi)源模型的性能(néng)和社區支持達到(dào)了足夠的水(shuǐ)平，那些封閉的大型模型未必能(néng)與其競争。

“穩定擴散”隻需較少的計算(suàn)能(néng)力就(jiù)可以工(gōng)作。與在OpenAI強大的服務器(qì)上(shàng)運行的DALL-E 2不同，穩定擴散可以在良好的個(gè)人電(diàn)腦(nǎo)上(shàng)運行。創造力的爆發和新應用程序的快速發展在很大程度上(shàng)是由于“穩定擴散”：既是開(kāi)源的，程序員(yuán)可以自(zì)由地改變它，在它的基礎上(shàng)發展，并從(cóng)中賺錢(qián)；又(yòu)足夠輕巧，人們可以在家中運行。

谷歌(gē)的一(yī)位高(gāo)級軟件(jiàn)工(gōng)程師(shī)認為(wèi)，不管是OpenAI還(hái)是谷歌(gē)，在人工(gōng)智能(néng)競賽中都沒有勝算(suàn)，構成威脅的“第三派”将是開(kāi)源社區。開(kāi)源技(jì)術(shù)開(kāi)發者沒有所有權，他們将自(zì)己的作品發布給任何人，讓他們根據自(zì)己的需要使用、改進或改編。開(kāi)源的曆史例子包括Linux操作系統和LibreOffice，這是微軟Office的替代品。

這位谷歌(gē)工(gōng)程師(shī)說，開(kāi)源人工(gōng)智能(néng)開(kāi)發者“已經在搶占先機(jī)”，他舉出的例子包括Meta公司開(kāi)發的大型開(kāi)源語言模型LLaMA。2023年(nián)2月(yuè)底發布的LLaMA因其優于GPT-3等模型的性能(néng)而立即受到(dào)歡迎，盡管其參數隻有650億（Meta AI， 2023）。7 月(yuè) 18 日，LlaMa2發布包含了 70 億、130 億和 700 億參數的模型，它對于人工(gōng)智能(néng)應用，就(jiù)像安卓操作系統之于手機(jī)APP開(kāi)發一(yī)樣，目的就(jiù)是讓應用層開(kāi)發者可以直接以最低(dī)成本獲得大模型的基礎設施使用。有了這樣的模型，從(cóng)事(shì)人工(gōng)智能(néng)模型的門(mén)檻已經“從(cóng)某一(yī)個(gè)主要研究機(jī)構的總産出降至一(yī)個(gè)人、一(yī)個(gè)晚上(shàng)和一(yī)台強大的筆記本電(diàn)腦(nǎo)”。一(yī)個(gè)LLM現在可以在幾個(gè)小(xiǎo)時内以100美元的價格進行微調。憑借其快速移動、協作和低(dī)成本的模式，開(kāi)源模型有一(yī)些谷歌(gē)或OpenAI無法複制的顯著優勢（Milmo， 2023）。而當免費(fèi)的或低(dī)價的、不受限制的替代品在質量上(shàng)與封閉的大型模式不相(xiàng)上(shàng)下(xià)時，人們不會(huì)為(wèi)一(yī)個(gè)設限的人工(gōng)智能(néng)模型付費(fèi)。

當然，像任何事(shì)情一(yī)樣，這同時具有積極和消極的影響。從(cóng)正面看(kàn)，它使少數公司壟斷控制人工(gōng)智能(néng)的可能(néng)性大大降低(dī)，也将使獲得人工(gōng)智能(néng)的成本大大降低(dī)，加速整個(gè)領域的創新，并使研究人員(yuán)更容易分析人工(gōng)智能(néng)系統的行為(wèi)（因其對專有模型的訪問是有限的），提高(gāo)透明度和安全性。但是，更容易獲得人工(gōng)智能(néng)，也意味著(zhe)不良行為(wèi)者将可以出于自(zì)身的邪惡目的而對系統進行微調，例如生(shēng)産虛假信息。這将使人工(gōng)智能(néng)更難于監管，因為(wèi)精靈已經逃出了瓶子。

大型語言模型已經徹底改變了我們與計算(suàn)機(jī)互動的方式。它們能(néng)夠理解自(zì)然語言并對複雜(zá)的問題做出反應。随著(zhe)人工(gōng)智能(néng)驅動的LLMs（如ChatGPT）的發展，它們已經變得越來越有用并走向通(tōng)用。

然而，它們的迅速進展也不是沒有争議的。許多(duō)人擔心如此強大的技(jì)術(shù)所帶來的反響，憂慮這些模型可能(néng)被用來操縱信息或替代人類的經驗。為(wèi)了充分了解它們的範圍和力量，探索LLMs如何影響社會(huì)的不同方面非常重要。

鑒于這些開(kāi)創性的模型的廣泛采用所帶來的巨大可能(néng)性和潛在風險，社會(huì)已經對其使用産生(shēng)了不同的反應。例如，在開(kāi)發和分發這些模型的源代碼時，是采取開(kāi)源還(hái)是閉源方式？

總的來說，開(kāi)源是指任何人都可以免費(fèi)使用、修改和發布的源代碼，而閉源是指不能(néng)在創造它的機(jī)構之外修改或發布的專有代碼。在GPT-3之前，大多(duō)數大型語言模型都是開(kāi)源的，但目前，越來越多(duō)的公司将他們的模型變成閉源的，例如PaLM、LaMDA和GPT-4。在OpenAI宣布GPT-4模型的文件(jiàn)中，該公司說它不會(huì)提供關于架構、模型大小(xiǎo)、硬件(jiàn)、訓練計算(suàn)、數據構建或用于開(kāi)發GPT-4的訓練方法的細節，隻是指出它使用了從(cóng)人類反饋中強化學習的方法，聲稱這是由于競争和安全方面的考慮（AI Now Institute， 2023）。

同樣，出于大型語言模型的競争格局和安全問題，OpenAI向客戶提供的付費(fèi)訪問，也有許多(duō)法律和技(jì)術(shù)限制。這使得學術(shù)研究人員(yuán)更難進行LLM訓練實驗。對研究界來說，最直接的問題之一(yī)是缺乏透明度。ChatGPT及其前身的基礎訓練集和LLMs是不公開(kāi)的，科技(jì)公司可能(néng)會(huì)隐瞞其對話式AI的内部運作。這與透明度和開(kāi)放(fàng)科學的趨勢背道而馳。在這種情況下(xià)，有關人工(gōng)智能(néng)的模型能(néng)力的主張無法被其他人驗證或複制，客戶也不可能(néng)下(xià)載ChatGPT背後的模型。

相(xiàng)比之下(xià)，開(kāi)源工(gōng)作涉及創建一(yī)個(gè)模型，然後将其發布給任何人，讓他們根據自(zì)己的需要使用、改進或改編。業(yè)界推動開(kāi)源LLM的工(gōng)作，承諾多(duō)方合作和權力共享，而這正是互聯網的最初理想。它顯示了不同的社區如何能(néng)夠相(xiàng)互幫助，攜手推進大型語言模型的下(xià)一(yī)步發展。

圍繞著(zhe)LLMs的另一(yī)個(gè)關鍵問題是它們的倫理含義。随著(zhe)這些系統變得越來越複雜(zá)，有關操縱人類行為(wèi)或公衆輿論的問題日益凸顯。此外，LLMs有可能(néng)被用作惡意行為(wèi)者或組織獲取私人數據或傳播虛假信息的工(gōng)具。出于對偏見(jiàn)和準确性的擔憂，人們也擔心它們在醫(yī)療診斷、法律決定甚至政府政策中的使用。

“深度僞造”（deepfake），由人工(gōng)智能(néng)創造的圖像和視頻，已經在媒體、娛樂和政治中出現了。在此之前，創造深度僞造的内容需要相(xiàng)當多(duō)的計算(suàn)技(jì)能(néng)，然而，現在幾乎任何人都能(néng)創造它們。OpenAI已經試圖通(tōng)過在每張DALL-E 2的圖像上(shàng)“打上(shàng)水(shuǐ)印”來控制虛假圖像，但未來可能(néng)需要更多(duō)的控制手段——特别是當生(shēng)成式視頻創作成為(wèi)主流時。

生(shēng)成式人工(gōng)智能(néng)還(hái)提出了許多(duō)有關何為(wèi)原創和專有内容的問題。由于創建的文本和圖像與以前的任何内容都不完全一(yī)樣，AI系統供應商認為(wèi)人工(gōng)智能(néng)生(shēng)成内容屬于提示的創造者。但它們顯然是用于訓練模型的先前文本和圖像的衍生(shēng)品。不用說，類似技(jì)術(shù)将在未來幾年(nián)為(wèi)知識産權律師(shī)提供大量工(gōng)作。

在隐私方面，LLMs本質上(shàng)是個(gè)人化的，它收集大量的用戶數據，以便能(néng)夠有效地預測對話的長(cháng)度、主題和軌迹。此外，每次與 ChatGPT 這樣的工(gōng)具的互動都有一(yī)個(gè)唯一(yī)的标識符——有使用它的人的登錄軌迹。因此，個(gè)人對 ChatGPT 的使用并非真正的匿名，這就(jiù)引發了有關 OpenAI 保留敏感數據的問題。圍繞著(zhe)數據的收集、存儲和使用，必須進行一(yī)系列的深思熟慮，以便安全地使用LLMs。

LLMs與其他人工(gōng)智能(néng)技(jì)術(shù)一(yī)樣受到(dào)監管和合規框架的約束，但随著(zhe)它們變得越來越普遍，可能(néng)會(huì)提出新的問題：如何以符合《通(tōng)用數據保護條例》（GDPR）和其他法規的方式使用此類工(gōng)具。由于 ChatGPT 處理用戶數據以生(shēng)成響應，OpenAI 或者出于自(zì)身目的而依賴 ChatGPT 的實體可能(néng)被視為(wèi) GDPR 下(xià)的數據控制者，這意味著(zhe)它們應該獲得處理用戶個(gè)人數據的合法依據（例如用戶的同意），并且必須告知用戶它們在從(cóng)事(shì)何種由ChatGPT支持的數據處理活動。

所有這些潛在的問題強調了為(wèi)什麽科學家、研究人員(yuán)和其他使用LLMs的人或組織在将其投入實際使用之前，從(cóng)多(duō)個(gè)角度積極審查大型語言模型的影響是至關重要的。如果深思熟慮地考量倫理方面的影響，再加上(shàng)嚴格的安全措施，大型語言模型就(jiù)可以成為(wèi)有價值的工(gōng)具，而不會(huì)破壞用戶的信任或損害完整性。

此外，雖然大型語言模型的趨勢仍在繼續，但重要的是要注意，更大并不總是意味著(zhe)更好。大型語言模型可以很好地進行随心所欲的創造性互動，但過去十年(nián)的發展告訴我們，大型深度學習模型是高(gāo)度不可預測的，使模型更大、更複雜(zá)并不能(néng)解決這個(gè)問題。

像ChatGPT這樣的大型語言模型，具有與用戶進行類似語言交流的能(néng)力，有可能(néng)成為(wèi)交流和教育以及其他許多(duō)領域的強大工(gōng)具。然而，一(yī)方面其對社會(huì)的影響是巨大的；另一(yī)方面其被濫用的可能(néng)性也是非常真實的。因此，需要更多(duō)的研究來認識大型語言模型的社會(huì)後果及對我們生(shēng)活的影響。随著(zhe)人工(gōng)智能(néng)和數據科學越來越多(duō)地融入日常生(shēng)活中，重要的是要加強這類技(jì)術(shù)的倫理考量，并尊重我們的數據和隐私賦予我們的個(gè)人權利。該領域的領導者必須共同努力，确保大型語言模型的使用是負責任的，符合人類的最佳利益。