黃仁勛對談OpenAI聯創：GPT-4推理能力還沒達到預期_GPT:CHAT

北京時間3月23日0點，英偉達GTC線上大會發起了一場特別活動，公司創始人兼CEO黃仁勛與OpenAI聯合創始人及首席科學家伊爾亞-蘇茨克維展開了一次“爐邊談話”。

黃仁勛認為，ChatGPT是“AI界的iPhone時刻”，但這一時刻的到來并非一蹴而就，OpenAI聯合創始人早在十年前便開始關注神經網絡，在探索生成式AI的過程中也經歷了神經網絡如何兼具深度和規模的探索、讓機器不受監督地學習能力的突破。到如今，ChatGPT成為了一款全球關注的“網紅工具”。站在當下回顧它的迭代和發展歷程，創意似乎是在創始人和團隊的一個個“靈感”之中蹦出，看似理所當然的創新背后究竟有哪些“激動人心的時刻”？

以下為本次對話內容精華整理：

黃仁勛：最近ChatGPT的熱潮將人工智能又站在了世界的“風口浪尖”，OpenAI公司也受到行業的關注，你也成為了整個行業最為引入注目的年輕工程師、最為頂尖的科學家。我的第一個問題是，你最初關注和聚焦人工智能領域的出發點是什么？有想過會取得目前如此巨大的成功嗎？

伊爾亞-蘇茨克維：非常感謝對我的盛情邀請。人工智能通過不斷的深度學習，給我們的世界帶來了巨大的變化。對于我個人來說，其實主要是兩方面：

首先，我關注在人工智能深度學習方面的初心，是我們人類對于各種問題，都有一定的直覺性的理解。對于人類意識的定義，以及我們人類的智力是如何完成這樣的預判，這是我特別感興趣的地方。

第二，在2002年到2003年期間，當時的我認為“學習”這件事，是只有人類才能完成的任務，計算機是無法做到的。所以我當時冒出一個想法：如果能夠讓計算機去不斷學習，或許會帶來人工智能行業的改變。

很幸運的是，當時我正在上大學，我研究的專業剛好是研究神經網絡學習方向。神經網絡是在AI方面的一個非常重要的進步，我們關注如何通過神經網絡去研究深度學習，以及神經網絡如何像人類的大腦那樣工作，這樣的邏輯如何反映在計算機的工作方式上。當時的我其實并不清楚研究這個領域會帶來怎樣的職業工作路徑，只是覺得這會是一個長期而言比較有前景的行業。

數據：Cumberland從CEX平臺提幣1.7萬枚ETH:7月14日消息，據Lookonchain數據顯示，在美國法官裁定XRP不是證券的消息傳出后的一小時內，加密做市商Cumberland從Circle提幣5860萬枚USDC后存入Binance，隨后從Binance及Coinbase平臺提幣共計約1.7萬枚ETH（價值約合3400萬美元）。[2023/7/14 10:54:46]

黃仁勛：在您最開始接觸神經網絡研究方向時，那個時候的神經網絡的規模是多大？

伊爾亞-蘇茨克維：那個時候神經網絡還沒有討論到規模的概念，只有幾百個神經單元，甚至當時的我都沒想過，居然能發展到現在如此之多的神經單元、以及如此多的CPU的單位。當時我們啟動了一個數學實驗室，基于經費預算有限，我們先開始只做了各種各樣不同的實驗，并收集了各種不同的問題去測試準確度。我們都從一點一滴很小的積累，去培訓神經網絡。這也是最開始實現的第一個生成式AI模式的雛形。

黃仁勛：早在2012年之前，你就在神經網絡領域有所建樹，你是在什么時間點開始覺得計算機視覺以及神經網絡和人工智能是未來方向的？

伊爾亞-蘇茨克維：在2012年之前大概兩年左右，我逐漸意識到深度學習會獲得很多關注，這不僅僅是我的直覺，其背后有一套非常扎實的理論基礎。如果計算機的神經網絡足夠深、規模足夠大，它就能夠解決一些深層次的硬核內容問題，關鍵是需要神經網絡兼備深度和規模，這意味著我們必須有足夠大的數據庫和算力。

我們在優化數據模型上付出很多努力，我們的一個同事基于“秒”做出了神經網絡的反饋，用戶可以不斷培訓神經網絡，這能讓神經網絡的規模更大、獲得更多數據。有的人覺得這樣的數據集大到不可想象，如果當時的算力能夠處理這么大的數據，那么一定能觸發一場革命。

黃仁勛：我們第一次相遇的時候，也是我們對未來的展望真正有所交集的時候。你當時告訴我說，GPU會影響接下來幾代人的生活，你的直覺認為GPU可能會對深度學習的培訓有所幫助。能不能告訴我，你是在什么時候意識到這一點的？

R3推出Corda公開測試版本:6月14日消息，分布式賬本技術服務公司R3推出其旗艦產品Corda的公開測試版，該更新版本面向全球金融市場基礎設施提供商和中央銀行設計，使應用程序能夠與其他開放的企業DLT網絡無縫互操作。

作為其倡議的一部分，R3與Adhara達成合作，還啟動了一個超級賬本基金會實驗室Harmonia，以加速受監管金融機構互操作性協議的開發。R3表示，Harmonia將解決受監管金融網絡的限制和要求，以實現跨區塊鏈網絡的真正原子結算。（Finextra）[2023/6/14 21:36:33]

伊爾亞-蘇茨克維：我們在多倫多實驗室中第一次嘗試使用GPU培訓深度學習的時候，并不清楚到底如何使用GPU、如何讓GPU獲得真正的關注。隨著我們獲得越來越多的數據集，我們也越來越清楚傳統的模型會帶來的優勢。我們希望能夠加速數據處理的過程，培訓過去科學家從來沒有培訓過的內容。

黃仁勛：我們看到ChatGPT和OpenAI目前已經打破了過去計算機編輯圖像的模式。

伊爾亞-蘇茨克維：我覺得不是打破了計算機圖像的編輯，而是用另外一種說法去形容，是“超越式”的。大部分人都是用傳統的思維模式去處理數據集，但我們的處理方式更先進。當時我們也認為這是一件艱難的事情，如果我們能做好，就是幫助人們跨越了一大步。

黃仁勛：放在當下來看，當時你去硅谷到OpenAI上班、擔任OpenAI的首席科學家，你認為最重要的工作時什么？我覺得OpenAI在不同的時間點有不同的工作關注焦點，ChatGPT是“AI界的iPhone時刻”，你是如何達到這樣的轉變時刻的？

伊爾亞-蘇茨克維：最開始我們也不太清楚如何開展整個項目，而且，我們現在所得出的結論，和當時使用的邏輯完全不同。用戶現在已經有這么好用的ChatGPT工具，來幫助大家創造出非常好的藝術效果和文本效果。但在2015年、2016年的時候，我們還不敢想象能達到當下的程度。當時我們大部分同事來自谷歌的DeepMind，他們有從業經驗，但相對而言思想比較狹窄、受到束縛，當時我們內部做了100多次不同的實驗和對比。

Nansen：三箭資本NFT銷售預估價值約為1030萬美元:金色財經報道，區塊鏈分析公司Nansen披露的數據顯示，三箭資本（3AC）NFT銷售預估價格為6280 ETH，約合1030萬美元，包括30枚Fidenza（4000 ETH），11枚CryptoPunks（1690 ETH）和17枚Ringers（1380 ETH），其中一些高價NFT有：3AC購買的CryptoPunk #6649價格為810 ETH、Archetype #397售出價為420 ETH（售出后一個月轉入3AC）、Fidenza #216售出價為320 ETH（售出后一個月轉入3AC）、3AC購買的Autoglyph #187價格為269 ETH。

據此前報道，三箭資本購買的一系列珍貴NFT將很快被出售。一份文件顯示，3AC的清算人Teneo已于2月22日將此次出售通知有關各方。Teneo高級董事總經理Christopher Farmer表示，出售“是為了清算目的實現NFT的價值”，并補充說預計將在通知發出后28天內開始。[2023/2/25 12:28:14]

那時我想出一個特別令自己激動的想法，就是讓機器具備一種不受監督的學習能力，雖然今天我們認為這是理所當然的，你可以用自然語言模型培訓所有內容。但在2016年，不受監督的學習能力仍舊是沒有被解決的問題，也沒有任何科學家有過相關的經驗和洞見。我覺得“數據壓縮”是技術上的瓶頸，這個詞并不常見，但實際上ChatGPT確實壓縮了我們的培訓數據集。但最后我們還是找到了數學模型，通過不斷培訓讓我們壓縮數據，這其實是對數據集的挑戰。這是令我感動特別激動的一個想法，這個想法在OpenAI上獲得了成果。

其實這樣一些成果，可能并不會在機器學習之外深受歡迎，但是我想說的是，我工作取得的成果是培訓了神經網絡。

我們希望能夠去培訓神經網絡預測下一個單詞。我認為下一個神經元的單位會和我們的整個視覺神經網絡密切相關的，這個很有趣，這個和我們驗證的方法是一致的。它再次重新證明了，下一個字符的預測、下一個數據的預測能夠幫助我們去發掘現有數據的邏輯，這個就是ChatGPT培訓的邏輯。

四川人民出版社將推出基于出版單位圖書IP衍生的數字藏品:金色財經報道，據四川人民出版社官方公眾號，四川人民出版社與數傳集團就元宇宙書店及數字藏品項目達成戰略合作，四川人民出版社副社長李真真表示，四川人民出版社將與數傳集團合作推出基于出版單位圖書IP衍生的數字藏品，在各個數字平臺上進行發行。同時，將根據未來元宇宙行業的發展，促進出版物的元宇宙化，在“元宇宙書店”場景中結合AR/VR/MR技術基礎，實現社交交互與在線交易，進一步推動社內轉型升級，帶動出版產業深度融合發展。[2022/6/25 1:31:06]

黃仁勛：擴大數據規模是幫助我們提高AI能力的表現，更多的數據、更大的數據集能夠幫助生成式AI獲得更好的結果。你覺得GPT-1、GPT-2、GPT-3的演變過程，是否符合摩爾定律？

伊爾亞-蘇茨克維：OpenAI的目標之一是解決擴大數據集的問題，但我們剛開始面臨的問題，如何提升數據的高精準度，讓模型能夠實現精準預測非常重要。我們當時在做OpenAI項目的時候，希望它能實時做一些策略性游戲，比如競爭性的體育游戲，它必須足夠快、足夠聰明，還要和其它隊競賽。作為一個AI模型，它其實不斷重復這樣一個基于人類反饋的強化學習過程。

黃仁勛：你是如何精準調控給予人類反饋的強化學習的？是不是有其它附屬系統，給ChatGPT一定的知識背景來支持ChatGPT的表現？

伊爾亞-蘇茨克維：我可以給大家解釋一下，我們的工作原理是不斷培訓神經網絡體系，讓神經網絡去預測下一個單詞。基于過去我們收集的文本，ChatGPT不僅僅是表面上的自我學習，我們希望它能夠在當下預測的單詞和過去的單詞之間達成一定的邏輯上的一致。過去的文本，其實是用于投射到接下來的單詞的預測上。

從神經網絡來看，它更像是根據世界的不同方面，根據人們的希望、夢想和動機得出一個結論。但我們的模型還沒有達到預期的效果，比如我們從網上隨便摘幾個句子做前言，在此基礎上，不需要做額外的培訓就能讓ChatGPT寫出一篇符合邏輯的論文。我們不是簡單地根據人類經驗完成AI學習，而是要根據人類反饋進行強化學習。人類的反饋很重要，越多的反饋能使AI更可靠。

OpenSea上的WETH報價或使用戶面臨資金被盜風險:5月31日消息，推特KOL Hydraze提醒用戶小心OpenSea上的WETH報價，一旦用戶接受報價，錢包內的資金可能會被盜取。甚至會空投NFT給用戶，然后提供需1-2個ETH。[2022/5/31 3:52:08]

黃仁勛：你可以給AI指示，讓AI做某些事情，但是你能不能讓AI不做某些事情？比如說告訴AI界限在哪里？

伊爾亞-蘇茨克維：可以的。我覺得第二個階段的培訓序列，就是和AI、神經網絡去進行交流，我們對AI訓練得越多，AI的精準度越高，就會越來越符合我們的意圖。我們不斷地提高AI的忠誠度和準確度，它就會變得越來越可靠，越來越精準，而且越來越符合人類社會的邏輯。

黃仁勛：ChatGPT在幾個月之前就面世了，并且也是人類歷史上增長最為迅速的軟件和應用。很多人都會給出各種不同的解釋，有人會說它是目前為止使用方式最簡單的應用。比如說它的交互模式非常簡單，它超越了所有人的預期。人們也不需要去學習如何使用ChatGPT，只要給ChatGPT下命令，提出各種不同的提示就可以。如果你的提示不夠清楚的話，ChatGPT也會進一步把你的提示做得比較清晰，然后回顧并且問你是不是想要這個？這樣一個深度學習的過程讓我特別驚艷。

我們在幾天之前看到了GPT-4的表現，它在很多領域的表現非常讓人震驚，它能夠通過SAT考試、律師協會的律師執業資格考試，而且能夠達到很高的人類水平。我想問的就是，GPT-4有什么樣的改善？并且你認為接下來它會幫助人們在哪些方面、領域有更多的改善？

伊爾亞-蘇茨克維：GPT-4基于過去ChatGPT的性能，做了很多改善。我們對GPT-4的訓練大概是從6-8個月之前開始的，GPT-4和之前版本GPT最重要的區別，就是GPT-4是基于更精確的精準度去預測下一個單詞的，因為有更好的神經網絡幫助預測。

比如說你自己在讀一篇推理小說，小說中有各種不同的人物和情節，有密室、有謎團，你在讀推理小說的過程中完全不清楚接下來會發生什么。通過小說不同的人物和情節，你預測兇手有幾種可能性，GPT-4所做的內容就像一本推理小說一樣。

黃仁勛：很多人都會說深度學習會帶來推理，但是深度學習并不會帶來學習。語言模型是如何學習到推理和邏輯的？有一些任務，ChatGPT和GPT-3不夠擅長，而GPT-4更擅長。GPT-4現在還有什么樣缺陷，可以在接下來的版本上更進一鞏固嗎？

伊爾亞-蘇茨克維：現在的ChatGPT可以更精準地的定義邏輯和推理，通過更好的邏輯和推理在接下來的解密的過程中獲得更好的答案。神經網絡或許會面臨一些挑戰，比如讓神經網絡去打破固有的思維模式，這就意味著我們要思考神經網絡到底可以走多遠，簡而言之，神經網絡的潛力有多大。

我們認為GPT的推理確實還沒有達到我們之前預期的水平，如果我們更進一步擴大數據庫，保持過去的商業運轉模型，它的推理的能力會進一步提高，我對這個比較有信心。

黃仁勛：還有一點特別有意思，就是你去問ChatGPT一個問題，它會基于過去的知識和經驗告訴你這個問題的答案，這個也是基于它對過去知識和數據庫的總結，以及基于對你的了解提供的答案，并且展現一定的邏輯性。我覺得ChatGPT有一種自然而然的屬性，它能夠不斷去理解。

伊爾亞-蘇茨克維：是的，神經網絡確實有這些能力，但是有時候不太靠譜，這也是神經網絡接下來面臨的最大障礙。在很多情況下，神經網絡會比較夸張、會出很多的錯誤，甚至出一些人類根本做不出來的錯誤。現在我們需要更多的研究來解決這些“不可靠性“。

現在GPT-4的模型已經被公開發布了，它其實沒有追蹤數據模型的能力，它的能力是基于文本去預測下一個單詞，所以是有局限性的。我覺得有些人可能會讓GPT-4去找出某些數據的來源，然后會對數據來源做更深入地調查。

總體而言，盡管GPT-4并不支持內部的數據收集，它肯定會在持續的數據深入挖掘之中變得更加精準。GPT-4已經能夠從圖片中進行學習，并且根據圖片和內容的輸入進行反饋。

黃仁勛：多模態學習如何加深GPT-4對于世界的理解？為什么多模態學習定義了GPT和OpenAI？

伊爾亞-蘇茨克維：多模態非常有意思：

第一，多模態在視覺和圖像識別上特別有用。因為整個世界是由圖片形成的，人們也是視覺動物，動物也是視覺動物，人腦1/3的灰質都是用來處理圖像的，GPT-4也能夠去理解這些圖像。

第二，通過圖片或文字對世界的理解是一樣的，這也是我們的一個論證。對于一個人而言，我們作為一個人可能一生之中只會說10億個詞。

黃仁勛：我腦海中閃過10億個詞的畫面，居然有這么多詞？

伊爾亞-蘇茨克維：是的，我們可以計算一下人一生的時間有多久，以及一秒能處理多少詞，如果再減去這個人生命中睡覺的時間，就能算出一生處理了多少單詞。人和神經網絡不同之處，就是有些過去對于文本而言的話，如果我們有一個十億級的詞匯無法理解的話，可以用萬億級的詞匯來理解。我們對于世界的知識和信息，可以通過文本慢慢滲透給AI的神經網絡。如你加上視覺圖片等更多的元素，神經網絡可以更精準地學習。

黃仁勛：對于文本和圖片方面的深度學習，如果我們想要人工智能智能去理解其背后的邏輯，甚至夸張的說，是理解這個世界的基本原理——比如我們人類日常一句話的表達方式，比如說有一個詞其實有兩種含義，聲音的高低變化，其實都代表著兩種不同的語氣。在說話的語言和語調方面，會不會對AI去理解文本有一定幫助呢？

伊爾亞-蘇茨克維：是的，你說的這類場景非常重要。對于語音和語調，包括聲音的大小和語氣，都非常重要的信息來源。

黃仁勛：GPT-4在哪些內容上比GPT-3做出了更多的進步，可以舉個例子嗎？

伊爾亞-蘇茨克維：比如說在一些數學競賽上，很多問題是需要圖表來解答的。GPT-3.5對于圖表的解讀做得特別差，而GPT-4只需要文本就可以解讀，準確率有很噠的提升。

黃仁勛：你之前提到，AI能夠生成各種不同的文本來去訓練另外一個AI。比如說，在所有的語言之中一共有20萬億不同的語言計數單位去培訓語言模型，那么這個語言模型的培訓到底是什么樣的？AI是否可生成出只屬于AI的數據來去自我培訓？這樣的形式看起來是一個閉環的模型，就像我們人類通過自己不斷地去學習外部的世界、通過自我反思、通過解決問題來去訓練我們自己的大腦。你怎么看這樣一個合成生成過程，以及AI的自我學習和自我培訓呢？

伊爾亞-蘇茨克維：我不會低估這個部分已經存在的數據，甚至我認為這里面存在的數據要比我們意識到的數據更多。

黃仁勛：是的，這也是我們在不斷展望的未來中去思考的事情，相信總有一天，AI能夠自己去生成內容、進行自我學習，并且可以自我改善。你是否可以總結一下我們現在處于什么樣的發展階段？以及在不遠的將來，我們的生成式AI能夠達到什么樣的情況？對于大語言模型，它的未來是什么？

伊爾亞-蘇茨克維：對我來說，預測未來是很困難的。我們能做的就是把這件事，持續做下去，我們將會讓大家看到更多令人感到驚艷版本的系統。我們希望能夠去提高數據的可靠度，讓系統真正能夠獲得人們的信任。如果讓生成式的AI去總結某一些文本，然后得出一個結論。目前AI在解讀這個文本過程中，還沒有完全去驗證文本的真實性以及文本所說的信息的來源，這一點是很重要的。接下來我們對于未來的展望，就是讓神經網絡必須要意識到所有數據來源的真實性，讓神經網絡意識到用戶每一步的需求。

黃仁勛：這種技術希望能夠展現給人們更多的可靠性。我還有最后一個問題，你覺得第一次使用ChatGPT-4的時候，有哪些性能讓你覺得是很令人驚艷和震驚的？

伊爾亞-蘇茨克維：對比之前的ChatGPT版本，神經網絡只會回答問題，有的時候也會誤解問題，回答上很不理想。但是GPT-4基本沒有再誤解問題，會以更快的方式去難題，能夠去處理復雜的艱難的任務，這個對我來說特別有意義。舉例子來看，很多人意識到ChatGPT能夠寫詩，比如說它可以寫押頭韻的詩，也能夠寫押尾韻的詩。并且它能夠去解釋笑話，能明白這個笑話背后到底是什么樣的意義。其實簡而言之，就是它的可靠性更好了。

我在這個行業從業差不多二十多年了，讓我認為“驚艷”的特點，就是它本身存在的意義，是可以給人類帶來幫助的。它從最開始毫不起眼的工作領域慢慢成長，變得越來越強。同樣的一個神經網絡，通過兩種不同的方式來培訓，能夠變得越來越強大。我也經常會發出疑問和感嘆：這些神經網絡是如何去成長如此之迅速的？我們是不是需要更多的培訓？它是不是會像人腦一樣不斷成長？這讓我感覺到它的偉大，或者說讓人感到特別驚訝的方面。

黃仁勛：回想過去我們也認識很長的時間了，你將整個職業生涯都奉獻給了這個事業，看到你在GPT和AI方面有所建樹。今天跟你交流讓我更清楚地了解了ChatGPT工作的邏輯，這是對于ChatGPT和OpenAI最為深入、最為藝術的一種解釋。今天很高興能夠再次跟你交流，謝謝！

Tags：GPTCHAATGCHATBGPT幣isechainCATGEStripchat代幣有啥用

LTC