“本質(zhì)上來(lái)說(shuō)，人類(lèi)和動(dòng)物的能力和今天我們看到的AI的能力之間是有差距的。簡(jiǎn)單來(lái)說(shuō)，機(jī)器學(xué)習(xí)和人類(lèi)動(dòng)物相比并不特別好?！?月9日，圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一的楊立昆（Yann LeCun）在2023北京智源大會(huì)上表示。
在名為《走向能夠?qū)W習(xí)、推理和規(guī)劃的大模型》的線上演講中，楊立昆講述了他對(duì)大語(yǔ)言模型發(fā)展路線的系統(tǒng)思考。他認(rèn)為，GPT這樣的主流路線存在局限，想讓AI獲得如人一般對(duì)真實(shí)世界學(xué)習(xí)、應(yīng)對(duì)和規(guī)劃的能力，可以閱讀他在一年前所發(fā)表的論文中提出的架構(gòu)“自主智能（Autonomous Intelligence）”。
(相關(guān)資料圖)
不看好自我監(jiān)督學(xué)習(xí)
楊立昆表示，最近幾年，科學(xué)家更多使用機(jī)器自我監(jiān)督學(xué)習(xí)，但這些系統(tǒng)會(huì)犯愚蠢的錯(cuò)誤，不會(huì)推理和規(guī)劃，只是快速地反應(yīng)。
“那么，我們?nèi)绾巫寵C(jī)器像動(dòng)物和人類(lèi)一樣理解世界的運(yùn)作方式，并預(yù)測(cè)其行動(dòng)的后果？”楊立昆問(wèn)道。
在回答這個(gè)問(wèn)題之前，首先要了解什么是自我監(jiān)督學(xué)習(xí)?！白晕冶O(jiān)督學(xué)習(xí)捕捉輸入中的依賴(lài)關(guān)系。在最常見(jiàn)的范例中，我們遮蓋輸入的一部分后將其反饋送到機(jī)器學(xué)習(xí)系統(tǒng)中，然后揭曉其余的輸入——訓(xùn)練系統(tǒng)會(huì)捕捉看到的部分和尚未看到的部分之間的依賴(lài)關(guān)系。有時(shí)是通過(guò)預(yù)測(cè)缺失的部分來(lái)完成的，有時(shí)不完全預(yù)測(cè)。這種方法在自然語(yǔ)言處理的領(lǐng)域取得了驚人的成功。最近大模型的所有成功都是這個(gè)想法的一個(gè)版本。”他說(shuō)。
“如果將這些模型訓(xùn)練在一萬(wàn)億個(gè)Token或兩萬(wàn)億個(gè)Token的數(shù)據(jù)上，它們的性能是驚人的。但最終，它們會(huì)犯很愚蠢的錯(cuò)誤。它們會(huì)犯事實(shí)錯(cuò)誤、邏輯錯(cuò)誤、不一致性，它們的推理能力有限，會(huì)產(chǎn)生有害內(nèi)容?！睏盍⒗ブ赋?，“因?yàn)樗鼈儧](méi)有關(guān)于基礎(chǔ)現(xiàn)實(shí)的知識(shí)，它們純粹是在文本上進(jìn)行訓(xùn)練的。這些系統(tǒng)在作為寫(xiě)作輔助工具、幫助程序員編寫(xiě)代碼方面非常出色，但它們可能會(huì)產(chǎn)出虛構(gòu)的故事或制造幻覺(jué)。”
AI面臨的三個(gè)挑戰(zhàn)
再來(lái)看看人類(lèi)和動(dòng)物。“我們看到嬰兒在生命的前幾個(gè)月內(nèi)掌握了大量關(guān)于世界運(yùn)作方式的基礎(chǔ)概念：如物體永恒性、世界是三維的、有機(jī)和無(wú)機(jī)物體之間的區(qū)別、穩(wěn)定性的概念、自然類(lèi)別的學(xué)習(xí)以及重力等非常基本的概念。嬰兒9個(gè)月大就能會(huì)這些?！睏盍⒗ケ硎荆绻?個(gè)月大的嬰兒展示將小汽車(chē)從平臺(tái)上推下來(lái)，嬰兒不會(huì)感到驚訝，但是10個(gè)月大的嬰兒會(huì)非常驚訝，因?yàn)閶雰阂呀?jīng)知道了物體應(yīng)該在重力下下落。這些基本概念是通過(guò)觀察世界和體驗(yàn)世界來(lái)習(xí)得的。研究者也應(yīng)該用機(jī)器復(fù)制這種通過(guò)觀察或體驗(yàn)世界來(lái)學(xué)習(xí)世界運(yùn)作方式的能力。
如何做到這一點(diǎn)？楊立昆提出了未來(lái)幾年AI面臨的三個(gè)挑戰(zhàn)。第一，學(xué)習(xí)世界的表征和預(yù)測(cè)模型；第二，學(xué)習(xí)推理。參考系統(tǒng)1和系統(tǒng)2的概念。系統(tǒng)1是與潛意識(shí)計(jì)算相對(duì)應(yīng)的人類(lèi)行為或行動(dòng)，是無(wú)需思考即可完成的事情，系統(tǒng)2是有意識(shí)、有目的地運(yùn)用全部思維力去完成的任務(wù)。目前，人工智能基本上只能實(shí)現(xiàn)系統(tǒng)1中的功能，而且并不完全；第三，如何通過(guò)將復(fù)雜任務(wù)分解成簡(jiǎn)單任務(wù)，以分層的方式運(yùn)行來(lái)規(guī)劃復(fù)雜的行動(dòng)序列。
大約一年前，楊立昆發(fā)表了一篇論文。他說(shuō)，那篇論文是關(guān)于他對(duì)未來(lái)10年人工智能研究走向的愿景。“在我提出的這個(gè)系統(tǒng)中，核心是世界模型（World Model）。世界模型可以為系統(tǒng)所用，它可以想象一個(gè)場(chǎng)景，基于這樣的場(chǎng)景作為依據(jù)，預(yù)測(cè)行動(dòng)的結(jié)果。因此，整個(gè)系統(tǒng)的目的是找出一系列根據(jù)其世界模型預(yù)測(cè)的行動(dòng)，能夠最小化一系列成本的行動(dòng)序列?！?/p>
AI與渦輪噴氣發(fā)動(dòng)機(jī)
在與清華大學(xué)教授、智源首席科學(xué)家朱軍的對(duì)話環(huán)節(jié)中，楊立昆被問(wèn)及對(duì)通用人工智能是否威脅人類(lèi)的看法。據(jù)悉，他將參加一個(gè)辯論，與深度學(xué)習(xí)三巨頭之一的約書(shū)亞·本吉奧（Yoshua Bengio）、未來(lái)生命研究所創(chuàng)始人邁克斯·泰格馬克（Max Tegmark）和研究復(fù)雜系統(tǒng)的前沿科學(xué)家梅拉妮·米歇爾（Melanie Mitchell）探討人工智能會(huì)不會(huì)成為人類(lèi)生存的威脅。
“在這場(chǎng)辯論中，邁克斯·泰格馬克和約書(shū)亞·本吉奧將站在“是”的一邊，認(rèn)為強(qiáng)大的AI系統(tǒng)可能對(duì)人類(lèi)構(gòu)成存在風(fēng)險(xiǎn)。而我和梅拉妮·米歇爾將站在“否”的一邊。我們的論點(diǎn)不是說(shuō)沒(méi)有風(fēng)險(xiǎn)，而是這些風(fēng)險(xiǎn)雖然存在，但可以通過(guò)謹(jǐn)慎的工程設(shè)計(jì)輕易地加以減輕或抑制?！睏盍⒗フf(shuō)。
“今天問(wèn)人們，我們是否能夠確保超級(jí)智能系統(tǒng)對(duì)人類(lèi)是安全的，這是無(wú)法回答的，因?yàn)槲覀冞€沒(méi)有超級(jí)智能系統(tǒng)的完整設(shè)計(jì)。除非你有一個(gè)基本設(shè)計(jì)，否則你無(wú)法保證它安全。這就像你在1930年問(wèn)航空工程師，你能把渦輪噴氣發(fā)動(dòng)機(jī)做得安全可靠嗎？工程師會(huì)問(wèn)，什么是渦輪噴氣發(fā)動(dòng)機(jī)？因?yàn)?930年還沒(méi)發(fā)明出渦輪噴氣發(fā)動(dòng)機(jī)?！睏盍⒗ゴ蛄诉@個(gè)比方，“所以，我們的處境有點(diǎn)相似?，F(xiàn)在斷言，我們不能確保這些系統(tǒng)安全有點(diǎn)為時(shí)過(guò)早，因?yàn)槲覀冞€沒(méi)有發(fā)明出它們?！?/p>
（原標(biāo)題：圖靈獎(jiǎng)得主楊立昆：類(lèi)GPT主流路線存在局限，仍不如人和動(dòng)物）
標(biāo)簽：
