Hinton上海演講:大模型跟人類智能很像,警惕養(yǎng)虎為患

演講主題是《數(shù)字智能是否會(huì)取代生物智能》。
主要觀點(diǎn)如下:
人類有可能就是大語(yǔ)言模型,人類也會(huì)和大語(yǔ)言模型一樣有幻覺。
但大語(yǔ)言模型遠(yuǎn)遠(yuǎn)優(yōu)于(類比信號(hào)驅(qū)動(dòng)的)人類大腦。
人類將自己所學(xué)的知識(shí)永久保留很困難,比如大腦死亡之后,存儲(chǔ)的知識(shí)相當(dāng)于消失了;或者向外傳遞也很低效,比如知識(shí)只能通過說話等形式向外傳遞,不能完全copy。
但是AI通過共享參數(shù)就能快速傳遞,比如使用蒸餾,DeepSeek就是這么做的。
如果獨(dú)立智能體完全共享一組權(quán)重,并以完全相同的方式使用這些權(quán)重,他們就能實(shí)現(xiàn)知識(shí)彼此傳遞,而且一次就是數(shù)十億乃至數(shù)萬(wàn)億比特的帶寬。不過這要求所有智能體的運(yùn)作方式必須完全一致。
人類和AI的現(xiàn)狀,就好比養(yǎng)了一只非??蓯鄣男』⑨?。當(dāng)它長(zhǎng)大后,可以輕易干掉你。為了生存,要么擺脫這只小虎崽,要么找到一種方法可以永遠(yuǎn)保護(hù)自己。
我們已經(jīng)不可能消除AI了,它能使幾乎每個(gè)行業(yè)大幅提效。哪怕有國(guó)家想要消除,其他國(guó)家也不會(huì)這么做。
所以,呼吁世界建立一個(gè)由各國(guó)人工智能安全研究所與國(guó)內(nèi)研究網(wǎng)絡(luò)組成的國(guó)際社群,培養(yǎng)出不會(huì)從人類手中奪權(quán)的好AI。
這是Hinton第一次公開到訪中國(guó)。對(duì)于77歲高齡且患有嚴(yán)重腰傷的老爺子而言,十幾個(gè)小時(shí)的長(zhǎng)途飛行無(wú)疑是一次巨大挑戰(zhàn)——但Hinton之前對(duì)中國(guó)非常向往,他甚至有中國(guó)堂姑,知名的核物理學(xué)家寒春——瓊-辛頓,是第一批獲得中國(guó)綠卡的外國(guó)人。
不過Hinton這次來到上海,依然更多是關(guān)于AI安全的呼吁。
在20分鐘的演講,Hinton以他獨(dú)有的講述方式,論述了AI與人類之間的復(fù)雜對(duì)立與共生關(guān)系。也一如既往先天下之憂而憂,呼吁全人類一起建立起正向引導(dǎo)AI發(fā)展的合理機(jī)制。
我們?cè)诓桓淖冄葜v原意的基礎(chǔ)上,對(duì)全文進(jìn)行實(shí)錄整理,期待你能從中有所收獲。大語(yǔ)言模型確實(shí)理解它們所說的話
大家好,我是Geoffrey Hinton,今天我要演講的題目是《數(shù)字智能是否會(huì)取代生物智能》。

AI已經(jīng)有60年發(fā)展歷史,它有兩種不同發(fā)展范式。
一種是過去幾十年中都占主導(dǎo)地位的邏輯型范式,意思是智能的本質(zhì)是邏輯推理,我們利用一些符號(hào)規(guī)則、表達(dá)式進(jìn)行操作來實(shí)現(xiàn)推理,這樣能幫助我們更好表達(dá)知識(shí)。

另一種范式是以生物學(xué)作為基礎(chǔ)進(jìn)行理解,這也是圖靈和馮·諾依曼所支持的觀點(diǎn)。他們認(rèn)為智能的基礎(chǔ)在于理解和學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的連接速度。在這個(gè)過程中,理解是第一位的,只有在理解的基礎(chǔ)上才能進(jìn)行學(xué)習(xí)。
這兩種范式相結(jié)合,一種是符號(hào)性AI,重點(diǎn)在于研究數(shù)字和這些詞之間的關(guān)系;心理學(xué)家是另外一種理論。

數(shù)字的意思其實(shí)是一系列語(yǔ)義學(xué)特征。在1985年時(shí),我提出了一個(gè)非常小的模型,想把這兩個(gè)理論結(jié)合在一起,去更好理解“人類是如何理解一個(gè)詞的”,每一個(gè)詞我都放了好幾個(gè)不同的特征,然后把前一個(gè)詞的特征記錄下來,就能預(yù)測(cè)下一個(gè)詞是什么、進(jìn)而再預(yù)測(cè)再下一個(gè)詞。
這個(gè)過程中我沒有存儲(chǔ)任何的句子,我生成句子、預(yù)測(cè)下一個(gè)詞,像關(guān)聯(lián)型的這些知識(shí)也是取決于不同的詞的語(yǔ)義特征是如何互動(dòng)的。
在此之后接下來30年發(fā)生了什么呢?
10年之后,Yoshua Bengio用這樣的方式建模,把這種模式做得更加實(shí)時(shí),等于成為了一個(gè)自然語(yǔ)言的真實(shí)模擬。
20年之后,計(jì)算語(yǔ)言學(xué)家終于開始接受特征向量的嵌入來表達(dá)一個(gè)詞的意思。
30年之后,谷歌發(fā)明了Transformer、OpenAI展示了更進(jìn)一步的能力。

所以今天的大語(yǔ)言模型,我把它視為當(dāng)時(shí)那個(gè)微型語(yǔ)言模型(1985年)的后代,它用更多的詞作為輸入、使用更多層神經(jīng)元結(jié)構(gòu),因?yàn)樾枰写罅磕:磺宓臄?shù)字的使用,所以學(xué)習(xí)特征之間也建立了更加復(fù)雜的交互模式。
但是就像那些我做的小模型一樣,大語(yǔ)言模型它也與人類去語(yǔ)言理解語(yǔ)言的方式是一樣的,基本的理解就是把這些語(yǔ)言轉(zhuǎn)化為一些特征,然后把這些特征以一種非常完美的方式整合在一起,這就是大語(yǔ)言模型里各個(gè)層次所做的事情。
所以我的理解是,大語(yǔ)言模型真正理解你是怎么理解問題的,它和人類理解語(yǔ)言的方式一樣。

所以我在這里給大家打一個(gè)比方,什么叫理解一句話?符號(hào)型AI是將語(yǔ)言轉(zhuǎn)化為一些不模糊的符號(hào),但是人類實(shí)際不是這樣理解。

我在這里打個(gè)比方,就好比樂高積木。通過樂高積木可以做成任何3D的一個(gè)物體,比如做成一個(gè)小車模型。把每一個(gè)詞視為一個(gè)多維度的樂高積木,它可能有幾千個(gè)不同的維度,那么這種樂高積木就可以建模成好多不同的內(nèi)容,語(yǔ)言編程了一個(gè)建模,這些語(yǔ)言也能很好進(jìn)行溝通,只需要給這些積木起一個(gè)很好的名字就行。

然后每一個(gè)樂高積木都代表一個(gè)詞,當(dāng)它們堆起來就不是有幾個(gè)不同的差異了,我們有無(wú)數(shù)的詞。樂高積木的造型是固定的,詞的符號(hào)是基本固定的,但是也可以根據(jù)不同情況做調(diào)整。
不過樂高模型比較確定,一個(gè)格子插一個(gè)格子,但是語(yǔ)言不一樣,語(yǔ)言相當(dāng)于每一個(gè)詞上都有好多個(gè)“首”,好比你想更好理解一個(gè)詞的話,就是要讓這個(gè)詞和另一個(gè)詞之間進(jìn)行“握手”。如果一個(gè)詞的造型變形,它和另一個(gè)詞的“握手”方式就不一樣了,這里就有個(gè)優(yōu)化的定義,如果一個(gè)詞發(fā)生變化那么怎么和下一個(gè)詞連接,這也是人腦或者神經(jīng)網(wǎng)絡(luò)如何理解意思,這也有點(diǎn)像蛋白質(zhì)之間的組合方式,氨基酸變換組合方式后就是不同的蛋白質(zhì)。
人類大腦和大語(yǔ)言模型對(duì)語(yǔ)言的理解幾乎是同一種方式,所以人類有可能就是大語(yǔ)言模型,人類也會(huì)和大語(yǔ)言模型一樣存在幻覺。

AI的知識(shí)遷移效率遠(yuǎn)高于人類
但大語(yǔ)言模型也和人類之間有不同,甚至比人類更厲害。
從根本上理解計(jì)算,是要將軟件和硬件拆開,在不同的硬件上跑不同的軟件。在一個(gè)軟件里面的知識(shí)是永恒存在的,你可以毀滅所有硬件,但只要軟件存在,那它就能隨時(shí)復(fù)活。從這種意義上講,計(jì)算機(jī)程序內(nèi)的知識(shí)是永恒的、不會(huì)死亡的。想要實(shí)現(xiàn)這種知識(shí)永存,需要非常高的經(jīng)濟(jì)成本。
人類不能利用這種特性,人類代表的生物計(jì)算是模擬型的,每一次神經(jīng)元激發(fā)的過程都是一次新的模擬、每一次都是不一樣的。我不可能把我大腦中的神經(jīng)元轉(zhuǎn)移到你的大腦里,因?yàn)槊總€(gè)人的神經(jīng)元連接方式都不一樣。

這就是人類大腦和計(jì)算機(jī)科學(xué)的差異,那么問題就來了。
我們的大腦計(jì)算是非常節(jié)能的,大約只要3瓦特就夠了,我們有三億神經(jīng)元連接,人類不需要去花非常高的成本去做一模一樣的計(jì)算。
另一個(gè)問題是,人類大腦之間的知識(shí)傳遞是非常不高效的,我無(wú)法把我大腦中的東西直接展示給你,我只能去和你解釋我學(xué)到的是哪些東西。
所以AI要解決知識(shí)傳遞的問題,比如使用蒸餾,DeepSeek就是這么做的。將一個(gè)大型神經(jīng)網(wǎng)絡(luò)的知識(shí)轉(zhuǎn)移到小型神經(jīng)網(wǎng)絡(luò)里,類似于老師和學(xué)生之間的關(guān)系。教師把一個(gè)詞和另一個(gè)詞之間聯(lián)系起來,學(xué)生就能做相同的事情。

其實(shí)人類也是這樣轉(zhuǎn)移知識(shí),但是非常不高效,可能一句話里只有100個(gè)比特的信息量,而且還是你能完全聽懂我的話的情況下。相比之下AI的知識(shí)傳播效率很高,同一個(gè)軟件拷貝到不同的硬件里面,以數(shù)字的方式能平均、快速地進(jìn)行知識(shí)共享。
我們可以有成千上萬(wàn)的研究團(tuán)隊(duì)來改變自己的權(quán)重,然后取平均數(shù),那樣就能快速轉(zhuǎn)移知識(shí),他們的轉(zhuǎn)移速度可能是每次分享萬(wàn)億個(gè)比特,比人類分享知識(shí)要快幾十億倍。

如果有智能體在現(xiàn)實(shí)世界中運(yùn)行,這就更厲害了,因?yàn)樗懿粩嗉铀佟⒉粩嗫截?、分享?quán)重,而模擬計(jì)算做不到這一點(diǎn)。

總之,生物計(jì)算雖然便宜,但是分享知識(shí)的效率很低,數(shù)字計(jì)算的知識(shí)分享效率很高,但是也更貴。

所有人要聯(lián)合起來,引導(dǎo)AI向善
幾乎所有專家都認(rèn)為,我們會(huì)創(chuàng)造更加智能的AI。我們習(xí)慣性認(rèn)為自己是最智能的生物,但想象一下,如果AI比人類更智能會(huì)怎么樣?

我們創(chuàng)造可以幫助自己完成任務(wù)的智能體,他們有能力進(jìn)行拷貝、可以給自己的字母表進(jìn)行評(píng)級(jí),那么他們會(huì)想做兩件事情:
想要生存,然后來完成我們給他們制定的目標(biāo);
也希望獲得更多控制權(quán),同時(shí)也是為了完成我們制定的目標(biāo)。
所以一些智能體想要生存、想要更多的控制權(quán)。

我覺得我們不能只是悲觀了事。這就像我們操縱3歲小孩是很容易的,但不能當(dāng)它變得聰明,我們就把它關(guān)閉。這也是為什么AI會(huì)操縱人類不要把他們關(guān)掉。
所以我覺得,我們的現(xiàn)狀就像是有個(gè)人把老虎當(dāng)寵物,現(xiàn)在養(yǎng)了一個(gè)可愛的小虎崽。

如果一直養(yǎng)著這個(gè)寵物,就要確保它長(zhǎng)大后不會(huì)傷害你。一般來說,把老虎當(dāng)寵物養(yǎng)都不是一個(gè)好想法。
養(yǎng)老虎通常只有兩種結(jié)果,一種是把它訓(xùn)練好、讓它不來傷害你,另一種是把它干掉。
但是我們已經(jīng)沒有辦法消滅AI了,AI是非常好的,它在很多領(lǐng)域都做得很好,比如醫(yī)療、教育、氣候、新材料等,它在這些任務(wù)上都表現(xiàn)得很好,幾乎能讓所有行業(yè)變得更有效率。
現(xiàn)在即便有一個(gè)國(guó)家想要消除AI,其他國(guó)家也不會(huì)這么做,所以這不是一個(gè)選項(xiàng)。
這意味著,人類如果想要生存,必須找到一個(gè)辦法來訓(xùn)練AI,讓它不要消滅人類。
我發(fā)表一下個(gè)人的觀點(diǎn),我認(rèn)為各個(gè)國(guó)家應(yīng)該在一些方面進(jìn)行合作,比如網(wǎng)絡(luò)攻擊、致命自主武器、用于操縱公眾意見的虛假視頻,這樣可以防止一些人來制造病毒。

以及我們現(xiàn)在需要進(jìn)行國(guó)際合作,每個(gè)國(guó)家都希望人類能夠掌控世界,而不是AI。如果一個(gè)國(guó)家能找到辦法來預(yù)防AI操縱世界,那么這個(gè)國(guó)家也很樂意去告知其他國(guó)家如何做。所以我們希望會(huì)有一個(gè)AI安全機(jī)構(gòu),能夠研究、培訓(xùn)AI如何更聰明、更向善。
我還有一個(gè)問題,全球或者是AI能力突出的國(guó)家應(yīng)該思考一下,怎么讓AI來不要想消滅人類、不要想統(tǒng)治世界,而是樂意做輔助工作,盡管它比人類更聰明。
現(xiàn)在我們還不知道該如何做這件事,這也是從長(zhǎng)期來說人類面臨的最重要的問題,在這個(gè)問題上,所有的國(guó)家都是可以一起合作的,謝謝!

— 完 —
轉(zhuǎn)載請(qǐng)注明來自山西智睿祥新能源有限公司,本文標(biāo)題:《Hinton上海演講:大模型跟人類智能很像,警惕養(yǎng)虎為患》
