編者按：AI來了。不對，是AI又來了?，F在AI在很多事情上都已經比人厲害，比如下圍棋、識別特定圖像什么的。按照數學家I. J. Good的想法，既然人能造出比人厲害的機器，那么這些機器也將制造出更多比自己更智能的機器，從而很快會出現智能的爆炸。后來，包括算機科學家弗諾溫格和未來學家Ray Kurzweil在內的一些人提出了“奇點來臨”的觀點，認為人類造出比人更聰明的機器將帶來“人類時代的終結”。包括霍金和Elon Musk在內的一批人都認可AI的這種威脅的緊迫性。那么智能到底會不會爆炸呢？奇點會不會很快來臨呢（Ray Kurzweil的觀點是2029年）？Python深度學習框架keras.io的開發者、Google資深軟件工程師Franois Chollet從觀察出發，通過對智能和遞歸自我改進系統的認識分析了這一看法的真偽。他的論證非常有說服力，其結論也令我們寬心。

1965年，I. J. Good首次提出了“智能爆炸”的概念，這個概念跟人工智能（AI）有關：

姑且把超級智能定義為一臺遠遠超越任何人（不管他有多聰明）所有的智力活動的機器。既然設計機器也是這些智力活動之一，那么一臺超智機器也可以設計出比自己更好的機器；這樣一來無疑將出現“智能爆炸”，而人的智能將會被遠遠拋在身后。因此，鑒于這臺機器足夠溫順可告訴我們如何讓它處在我們的控制之下，第一臺超智機器將成為人類所需的最后一項發明。

數十年后，“智能爆炸”——也就是導致“超智”突然崛起，人類意外滅絕的概念已經在AI社區落地生根。知名的商界領袖把它當作比核戰爭和氣候變化還要重大的風險來宣揚。普通的機器學習研究生也認可這一點。在2015年面向AI研究人員的一項調查中，29%的受訪者回答說智能爆炸的發生“有可能”或者“高度可能”。另有21%者認為有非常大的可能性。

這些論斷的基本前提是，在不久的將來，第一個“種子AI”將會被創造出來，這個AI會有稍微超過人類的一般問題解決能力。這個種子AI會開始設計更好的AI，開啟一個可馬上讓人類智能望塵莫及的遞歸自我改進循環，在很短的時間內就超過了人類好幾個量級。這一理論的支持者還把智能看成是某種超級力量，賦予其持有者塑造環境的近乎超自然的能力——比方說，就像我們在科幻電影《超驗駭客》中所看到的一樣。超級智能因此將意味著近乎全能，并且會對人類構成生存威脅。

這種科幻小說的敘述手法助長了危險的、具有誤導性的有關AI風險與對AI監管需求的公眾辯論。但我認為智能爆炸是不可能的——智能爆炸的看法來自于對智能的本質與遞歸式自我改進系統有著很深的誤解。在本文中我會試著以對智能系統和遞歸系統的具體觀察為基礎提出我的觀點。

源自對智能的誤解得出的推理是有瑕疵的

就像產生于1960、1970年代的眾多早期理論一樣，智能爆炸背后的推理有點強詞奪理：該理論把“智能”看成是一個跟環境脫節的、完全抽象的概念，并且忽視了有關智能系統和遞歸自我改進系統的已有證據。其實未必就是這樣的。畢竟嘛，我們都生活在一個滿是智能系統和自我改進系統（包括我們自己）的星球上，所以完全可以去觀察這些系統并從中去了解，進而回答這個問題，而不是憑空想出毫無證據的循環論證。

要想討論智能及其可能的自我改進屬性，我們首先應該介紹一點必要的背景和上下文。當我們在討論智能的時候我們在討論什么呢？對智能本身的精確定義就是一個挑戰了。智能爆炸的說法等同于體現在智能代理個體（目前的人腦、或者未來的電子大腦）身上的、有著一般問題解決能力的智能。當然這還不是全部，所以我們不妨把這個定義作為起點，然后在此基礎上再慢慢拓展。

智能是情景化的

我認為智能爆炸理論的第一個問題是未能認識到智能是一個更大的系統的必要組成部分——以為智能是“密封起來的大腦”，獨立于環境就能做出任意智能的東西來。大腦不過是一團生物組織罷了，它本身本來就沒什么智能的。除了大腦以外，你的身體和感覺——你的感覺運動的環境賦使——這些都是思維必不可少的部分。你的環境是你的智能的基本部分。人類文化是你的智能的基本部分。畢竟，這些是你所有想法的來源。你不能夠把智能跟表達智能的上下文脫離。

尤其是并不存在所謂的“一般”智能這樣的東西。就抽象意義而言，我們是通過“沒有免費午餐”定理了解到這一點——這個定理說的是沒有一個問題解決算法能夠比搜索空間的純隨機搜索算法更優。（對于所有可能的問題，任意給定兩個算法A、A’，如果A在某些問題上的表現比A’好，那么A在其他問題的表現就一定比A'差，反之亦然。也就是說，任意兩個算法A、A’對所有問題的平均表現度量是完全一樣的）如果智能是個問題解決算法的話，那么只能針對特定問題來理解它。說得更具體一點，就經驗來看，我們觀察到的所有已知的智能系統都是高度專門化的。我們目前所開發的AI的智能都是專門用來處理相當狹隘的任務的——比如下圍棋的，或者把圖像分成1萬個已知類別的。章魚的智能時候專門用來處理章魚所面臨的問題的。人的智能是專門用來處理人所面臨的問題的。

如果我們把剛剛形成的人腦放到章魚的身體里面，然后讓它生活在海底會發生什么事情呢？它甚至能不能學會運用自己有8條腿的軀體呢？它能不能活幾天下來呢？我們無法進行這樣的實驗，但是我們的確知道人類和動物的認知發展是由硬編碼的、先天的動力驅動形成的。人體天生就有一套預置的反射行為以及固有的學習模板來推動早期的感覺運動發展，而這個跟人類感覺運動空間的結構是緊密關聯的。大腦已經把有手能抓東西，有嘴能吃東西，會轉動的腦袋上面有眼睛能用于在視覺上跟蹤對象（前庭眼球反射）的軀體概念硬編碼進去了，這些感覺需要人類智能開始去控制人體。比方說Chomsky（喬姆斯基）就曾經令人信服地提出，非常高級的人類認知特點，比如發展出語言的能力，就是天生的。

類似地，為了學習如何運用章魚軀體并且在章魚的環境下生存，你也可以想象章魚也有自己的一套必要的、硬編碼進去的認知基元。人腦是高度針對人類環境的，這屬于一種天生的專門化，這種專門化的范疇可能要延伸到社會行為、語言以及常識，而章魚的大腦類似地也會高度針對章魚的行為。人類嬰兒的大腦哪怕嫁接到章魚身體也很有可能無法對其獨特的感覺運動空間進行充分控制，會很快死掉?，F在你可就沒那么聰明了，超級大腦先生。

如果我們把一個人放到一個不具備眾所周知的人類文化的環境里面去會怎樣呢？一群狼撫養長大的森林王子毛克利（Mowgli the man-cub）長大后會不會比他的犬科兄弟更聰明呢？或者跟我們一樣聰明？如果我們用嬰兒愛因斯坦替換嬰兒毛克利的話，他會不會自學成才想出宇宙的大理論呢？經驗證據相對比較缺乏，但是就我們所知，在脫離人類文化的自然環境下長大的小孩并不能形成任何的人類智能。在野外撫養的野孩子從一開始就其實就變成了動物，就會回歸文明也不再能養成人類行為或者語言。在南非，由猴子撫養的Saturday Mthiyane 5歲時被人發現后，直到成人都一直保持著猴子的行為——跳躍和走路都是四腳著地，不會說人話，并且拒絕吃煮過的食物。至少在形成期跟人類有過部分接觸的野孩子往往運氣好點，可以接受再教育，盡管罕有逐步發展成心智健全人的情況。

如果智能跟特定的感覺運動形式、特定的環境、特定的撫養方式，以及需要解決的特定問題存在著根本聯系的話，那你就不能指望僅僅通過調整自己的大腦來隨意增加一個智能體的智能——不像你可以通過加快傳送帶的速度來提高工廠生產線的吞吐量。智能的發展只能來自于智力、感覺運動的形式及其環境的共同進化。如果大腦的引擎是你解決問題能力的定義因子，那么那些智商遠超出人類智能正常范圍的罕見人類將生活在遠遠超出正常生活的范圍，他們將可以解決以前被認為是無法解決的問題，并且會占領世界——就像有些人害怕比人類聰明的AI會干的事情一樣。實際上，具有特殊認知能力的天才往往過著極其平凡的生活，他們當中很少有人能夠取得任何顯赫的成就。在Terman里程碑式的《天才的遺傳研究》中，他注意到他的那些天賦異稟的研究對象當中，大部分都會追求“像警察、海員、打字員以及檔案管理員這樣不咋的職業”。目前智商高于150的大概有700萬人——其認知能力要高于99.9％的人——但大部分都不是你在新聞里看到的人。在那些真正想要控制世界的人當中，幾乎很難看到有誰是智力超常的；據說，希特勒是一名高中輟學生，曾兩次試圖進入維也納藝術學院而未果。

最終在難題上取得突破的人往往結合了環境、性格、教育、智能等因素，通過逐步改進前人的工作而取得突破。成功——表現智能——是因為充分的能力正好遇上了一個很好的問題。這些杰出的問題解決者當中的大多數甚至都不算聰明絕頂——他們的技能似乎專注于特定領域，在自身領域之外通常并沒有展現出超過平均水平的能力。有些人的成就更大是因為他們是更好的團隊成員，要么就是更加果敢更有職業道德，或者想象力更豐富。有些人正好生活在合適的環境下，在合適的時機進行了一場合適的對話。智能從根本上來說是情境化的（注：天時地利人和缺一不可）。

我們的環境對個體智能有硬性限制

智能不是超能力；超常智能本身并不能讓你對自身境遇擁有相應比例的支配力。不過盡管存在一定爭議，原始的認知能力（以IQ衡量）相同的一群人與其社會成就接近平均水平的那部分存在相關性，這倒是有據可查的事實。這在Terman的研究中首先得到了證實，后來又得到了其他人的佐證——比方說，Strenze在2006年進行的一項范圍很廣的元分析發現，智商與社會經濟成功之間存在明顯的相關性，盡管這種相關性稍弱一點。因此，從統計分析來看，一個智商為130的人要比智商為70的人更有可能處理好各種生活問題——盡管這一點在個人層面上從來都沒有確保如此——不過突破了某一點之后，這種相關性就被打破了。并沒有跡象表明智商為170的人在某一領域的影響力就會大于智商為130的人。實際上上，許多最有影響力的科學家智商往往在120或者130左右——費曼據說是126，跟別人一起發現了DNA的James Watson為124，這跟普通科學家的水平是完全一樣的。與此同時，智商在170或以上的人目前在世的大約有5萬人，但這些人當中又有多少個能解決任何重大問題呢，哪怕重要程度只有Watson教授解決的那個的十分之一也行？

為什么超過一定的閾值后原始認知能力在現實世界中的效用就會停滯不前了呢？這指向了一個直觀的事實：成就高需要有足夠的認知能力，但是問題解決目前的瓶頸是表現出來的智能，而不是潛在的認知能力本身。瓶頸是我們的環境。決定了我們的智能表現如何的環境，對我們的大腦能夠做什么施加了嚴格的約束——它限制著我們長大有聰明，限制著我們能夠如何有效地利用我們形成的智能，限制著我們能解決什么問題。所有的證據都表明，我們現在的環境，就像此前20萬年前的人類歷史和史前史一樣，并不允許高智商的人充分發揮和利用他們的認知潛能。一萬年前的一個潛力巨大的人可能是在一個低復雜度的環境中被撫養成人的，他可能只會說一門語言，其單詞量不超過5000，一輩子可能都沒人教他書寫，能接觸的知識非常有限，幾乎不會遇到什么認知挑戰。對于大多數現代人來說目前情況要好一些，但是沒有跡象表明我們的環境機會目前超過了我們的認知潛能。

不知道為什么，我對愛因斯坦大腦的重量和腦回的興趣，總比不上我對那些幾乎肯定要在棉田和血汗工廠生老病死的同等天才的關注

——Stephen Jay Gould

一個在叢林中長大的聰明人不過是一頭不長毛的猿人罷了。類似地，把有著超人大腦的AI放到人體，然后處在現代世界的環境下，未必就能發展出比一位聰明的當代人更強的能力。如果能的話，那么超高智商的人類就早就已經展現出相應超常水平的個人成就了；他們將會對自己的環境取得超長水平的控制，并且解決重大的懸而未決的問題——但其實他們并沒有。

我們的智能大部分不在于大腦，而是具體體現在我們的文明之中

我們大腦能形成多大的智能不僅取決于我們的身體、感覺和環境，更關鍵的是，我們的生物大腦只不過是我們智能整體的一小部分。認知假肢包圍著我們，插入到我們的大腦，并拓展了大腦解決問題的能力。你的智能手機，你的筆記本電腦，Google搜索，你在學校學會的認知工具，書本，其他人，數學符號，編程，這些都是認知假肢。不過在所有認知假肢中最基本當然是語言本身——語言在本質上屬于一個認知操作系統，沒有語言我們沒法思考那么太遠。這些東西不僅僅是提供給大腦使用的知識，而且其實是外在的認知過程，是運行思考和問題解決算法的非生物手段——這種手段超越了時空，更重要的是超越了個體。我們的認知能力主要體現在這些認知假肢，而不是我們的大腦。

我們是自己的工具。個人本身并沒有太多的用處——再強調一次，人不過是用雙腳走路的猿罷了。是幾千年以來不斷積累的知識和外部系統，也就是所謂的“文明”，讓我們超越了動物性。當科學家取得突破時，其大腦進行的思考過程只不過是方程式的一小部分罷了——研究人員把大量的問題解決過程都交給了計算機、其他研究人員、論文筆記、以及數學符號等。他們之所以能夠取得成功，是因為他們站在了巨人的肩膀上。他們自己的工作不過是成千上萬人在幾十年的時間跨度內進行的問題解決過程的最后一個子程序罷了。他們自己的認知工作的重要性可能并不比芯片上的一個晶體管的工作大多少。

個人大腦無法實現遞歸智能增強

大量證據表明，個人大腦本身無法設計出超越自身的更強智能。這個說法純粹是出于經驗主義：在出現又消失的幾十億人腦當中，并沒有哪一個做到過。顯然，一個人的智能一輩子也無法設計出智能，否則的話，經過數十億次的試驗之后這件事早就應該可以了。

不過，在這幾千年的時間里，這數十億的大腦卻不斷積累知識，發展出外在的智能處理過程，實現了一個系統——文明——最終形成了比一個人更智能的人工智能。創造出超人AI的是整個文明，而不是你我或任何個人。這個過程牽涉到無數人，所經歷的時間跨度遠非你我可以理解。這個過程牽涉到了比生物智能甚至多得多的外部智能——書本、計算機、數學、科學、互聯網等。在個人層面上，我們不過是文明的載體罷了，我們只是在之前工作的基礎上做事情，然后傳遞我們的發現。我們只是文明運行的問題解決算法的一個一閃而過的晶體管。

在經過幾個世紀的共同發展后，未來的超人AI是否有能力發展出比自己更強的AI來呢？不能，我們當中沒有一個人可以?；卮鹫f“能”就是公然藐視我們所知道的一切——再次地，請記住沒有人或者任何已知的智能體曾設計出來過比自己更聰明的東西。我們所做的是逐步地、共同地開發出比我們自身更強大的，問題解決的外部系統。

不過，就像人類和人類迄今所開發出來的其他智能系統一樣，未來的AI將會為我們的文明做出貢獻，而我們的文明反過來又會用它們來不斷擴展所發展出來的AI的能力。從這個意義上來說，AI與計算機、書或語言本身并沒有區別：它是為我們的文明賦能的技術。因此如果說超人AI的出現意味著奇點的話，這個奇點的意義跟計算機，書或語言的出現并沒有什么兩樣。文明會發展人工智能，然后不斷前進。文明最終將超越我們的現狀，就像它超越了我們一萬年前的狀況那樣。這是一個漸進性的進程，而不是突然轉變。

智能爆炸——也就是一個問題解決能力超越人類的“種子AI”出現后會導致突然的、遞歸性、逃逸式的智能改進循環，它的基本前提是錯誤的。我們的問題解決能力（尤其是我們設計AI的能力）已經在不斷改進，因為這些能力主要不是局限在我們的生物大腦里面，而是存在于我們外部的共同工具里面。這個遞歸循環已經運作了很長一段時間，但是“更好的大腦”的崛起并不會對其產生實質性的影響——這種影響并沒有比任何之前的智能增強技術的作用大。我們的大腦本身用來都不是AI設計過程的瓶頸。

這種情況下你也許會問，難道文明本身不是自我改進大腦的逃逸手段嗎？我們的文明難道沒有出現智能爆發嗎？沒有，關鍵是文明級的智能改進循環僅僅導致了我們的問題解決能力的，可測量的、線性的進展。并沒有出現爆發的現象。可是為什么呢？難道X的遞歸改進在數學上不會導致X的指數增長嗎？不會——簡單來說，因為復雜的現實世界系統里面沒有一個可以簡單建模為 `X(t + 1) = X(t) * a, a > 1`。沒有一個系統存在于真空之中，智能和文明尤其不可能。

我們所知道的遞歸自我改進系統

當智能系統開始優化自己的智能時，我們用不著猜測會不會發生“爆炸”。其實大多數系統恰恰就是遞歸自我改進的。這樣的系統在我們周圍比比皆是。所以我們完全清楚此類系統在各種情況以及在不同的時間尺度上是如何工作的。你自己就是一個遞歸自我改進系統：自學讓你自己變得更聰明，反過來又讓你更高效地自我教育。同樣地，人類文明在更長的時間尺度范圍都在遞歸改進自我。機電系統是遞歸自我改進的——更好的制造機器人可以制造更好的制造機器人。軍事帝國是遞歸遞歸自我擴張的——你的帝國越大，用于擴張帝國的軍事手段就越大。個人投資是遞歸自我改進——你越有錢，你就可以賺更多的錢。例子到處都是。

比方說我們可以看看軟件。編寫軟件顯然可以為軟件編寫賦能：首先，我們編寫編譯器，后者就可以執行“自動化編程”，然后我們利用編譯器開發新語言來實現更強大的編程范式。我們利用這些語言去開發更高級的工具——調試器、IDE、代碼校驗工具（linters）、bug預測工具等。在未來，軟件甚至能夠自己寫軟件。

但這種遞歸自我改進的最后結果是什么呢？你用你的軟件能夠比去年多寫2倍的代碼嗎？明年你能不能在此基礎上再翻2番呢？盡管我們已經為軟件的制作投入指數級的努力，軟件的用處無疑是以一種可衡量的、線性的節奏在改進的。幾十年來，軟件開發者的數量一直呈指數性的發展，而軟件運行所在的晶體管的數量也成指數增長，遵循著摩爾定律。但我們的計算機只是比2012、或者2002甚至1992年的變得更有用了一點。

可為什么會這樣呢？這主要是因為軟件的有用性根本受限于應用的上下文——這跟智能是由智能自我表達所處的上下文所定義并被其限制非常像。軟件只是一個更大的過程——我們的經濟、我們的生活的一個齒輪——就像我們的大腦只是一個更大的過程——人類文化的一個齒輪一樣。這個上下文對軟件潛在的最大有用性施加了嚴苛的限制，這一點跟我們的環境對任何個體（哪怕有著天賦異稟的大腦的個體）能變得多聰明施加了嚴格的限制非常像。

除了上下文的硬性約束之外，即使系統的一部分具有遞歸自我改進的能力，系統的其他部分也不可避免地會成為瓶頸。遞歸自我改進會引起逆反過程的擠壓——在軟件中，這個過程是資源消耗、功能蠕變、UX問題等。如果是個人投資，你個人的開支率就是這樣一個逆反過程——你擁有的錢越多，你要花的錢就越多。如果是智能，系統間的通信就是底層模塊改進時的剎車板——有著更智能部件的大腦在協調它們時會遇到更多的麻煩；一個有著更聰明個人的社會在人際關系和溝通上的投入要多得多。智商很高的人更可能患上特定的精神疾病，這也許并不是巧合。過去的軍事帝國在超過一定的規模后就會土崩瓦解，也許并非偶然。指數性發展會遇到指數級的阻力。

科學進步就是一個值得關注的具體例子，因為它在概念上與智能本身非常接近——作為一個問題解決系統，科學非常接近與逃逸的超人AI。科學當然是一個遞歸自我改進系統，因為科學的進步導致了科學的發展——無論是實驗室硬件（例如量子物理導致激光的誕生，這反過來又使得量子物理實驗成為可能），概念工具（如新定理、新理論），認知工具（如數學符號），軟件工具等使得科學家能夠更好地協作（如互聯網）......

然而，現代科學的進步卻還是線性的，這是可以看出來的。我在2012年的一篇題為《奇點沒有到來》的文章中詳細描寫了這一現象。1950—2000年期間我們在物理學方面沒有比1900—1950年期間取得了更大進展——不過我們可以說做得一樣好。現在數學的發展速度并不比1920年快得多。數十年來，基本上在左右指標上醫學科學正在取得線性的進步。盡管我們在科學領域投入了指數級的努力——研究人員的數量每15到20年就要翻一番，而這些研究人員用于提高生產力的計算機速度也在呈指數式的發展。

為什么會這樣？是什么樣的瓶頸和對抗性的反作用力延緩了科學的遞歸自我改進？太多了，我甚至都數不過來。這里只列出了少數。重要的是，這些因素每一個也適用于遞歸自我改進的AI。

隨著時間的推移，在特定領域從事科學研究的難度呈指數式上升——這個領域的創始人已經把最容易取得的成果收割掉了，在之后要想取得可比的影響力需要的努力呈指數式增長。在信息論方面，沒有一個研究人員所取得的進展能跟香農在1948年的論文那樣相提并論。

隨著一個領域變得越來越大，研究人員之間共享和協調的難度也呈指數式上升。想要跟上如潮水般的新發布文章變得越來越困難。記住，一個有N個節點的網絡連接數可是N * (N - 1) / 2 。

隨著科學知識的拓展，投入到教育和培訓的時間和精力在不斷增多，研究人員的研究領域也變得越來越狹窄。

實際上，系統瓶頸、收益遞減以及對抗反應最終會擠壓我們周圍所有遞歸過程的遞歸自我改進。自我改進確實能帶來進展，但是這種進展往往是線性的，或者充其量是S曲線式的。你投資的第一筆“種子美元”通常不會帶來“財富爆炸”；相反，投資回報與支出增加之間的平衡往往能讓你的儲蓄隨時間轉移而大致呈線性增長。這還只是一個復雜度要比自我改進的頭腦低好幾個數量級的系統。

類似地，第一個超人AI也只不過是朝著看得見的、線性的進步階梯邁出的又一步罷了，而這個階梯我們在很久以前就已經在爬住了。

結論

智能的拓展只能來自于（生物或數字）大腦、感知運動功能、環境以及文化的共同進化，光靠調整封閉環境下的大腦的零部件是不行的。這類的共同演進已經經過了無數個年代，而且隨著智能朝著日益數字化的基體而繼續演進。既然這一進程會以大致線性的節奏推進，“智能爆炸”也就不會發生。

記?。?/p>

智能是情景化的——并不存在一般智能這樣的東西。你的大腦是一個更大的系統的一部分，這個系統包括了你的軀體、環境、其他人以及整個文化。

沒有系統可以存在于真空之中；任何個體智能總要被其存在的上下文、被環境所定義和約束。目前制約我們智能的瓶頸是我們的環境而不是大腦。

人類智能基本上是外化的，主要不是包含在我們的大腦而是在我們的文明當中。我們是我們的工具——我們的大腦是比我們本身大得多的認知系統的模塊。這個系統已經在自我改進，而且已經進行了很長的時間。

遞歸自我改進系統，因為所存在的更大范疇的上下文可能會出現瓶頸、收益遞減、以及逆反作用，實際上無法取得指數性的發展。從經驗來看，這種發展往往呈線性或者S曲線式的改進?？茖W進步尤其是這樣——而科學也許是跟我們觀察的遞歸自我改進系統最接近的一個了。

遞歸智能拓展已經在發生——不過是在我們的文明這個層面上進行的。這個進程會在AI時代繼續，而且是以大致線性的節奏進行的。

原文鏈接：@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec