ChatGPT為什么這么強_GPT:ATG

1.從周五到周末ChatGPT已經瘋傳開來，其對話能力讓人驚艷。從玩梗、寫詩、寫劇本，到給程序找bug，幫人設計網頁，甚至幫你生成AIGC的提示詞，一副無所不能的樣子。可以去Twitter上看BenTossell梳理的一些例子，或者自己去試試！一位MBA老師讓ChatGPT回答自己的管理學題目，結論是以后不能再布置可以帶回家的作業了。很多人用了以后無法自拔，就如這位所見：

Musk問ChatGPT怎么設計Twitter(不得不說還挺有創意）：

2.有人讓ChatGPT參加了智商測試，得分83;SAT測試得分1020，對應人類考生52%分位。要知道ChatGPT并沒有對數學方面做過優化，已經是相當不錯的結果了。

Art Blocks Friendship Bracelet NFT系列在OpenSea上位居榜首:金色財經報道，在 Art Blocks 上鑄造的生成藝術不可替代代幣 (NFT)歷來在市場上排名很高，其最新的免費鑄造 Friendship Bracelets 系列也是如此。這 38,413 件藏品由 Art Blocks 創始人 Erick Calderon (Snowfro) 構思，由藝術家和日本生成藝術基金會總監 Alexis André 設計。動畫藝術作品的靈感來自孩子們分享的新奇手鐲，任何現有的 Art Blocks NFT 持有者都可以使用。

根據 Art Blocks的收藏頁面，自 10 月下旬發布以來，持有者最多可以免費領取兩個代幣，直到周二的領取窗口期結束。認領期過后，該系列迅速登上二級市場OpenSea排行榜的首位。截至周二下午，該系列在 OpenSea 上的 24 小時交易量最高，為 996 ETH（超過 130 萬美元），總交易量為 7,437 ETH（約合 990 萬美元）。[2023/1/11 11:05:32]

3.ChatGPT的提升點

相比之前的GPT-3，ChatGPT的提升點在于能記住之前的對話，連續對話的感覺讓人舒服。

Mycelium DeFi因喂價問題遭受了套利機器人的攻擊:金色財經報道，根Mycelium團隊聲明，1月7日，該平臺遭受了套利機器人的攻擊。該機器人檢測到平臺上ETH價格的價差過高并開始大量濫用流動性。

差異應歸因于Bitfinex API，它在澳大利亞東部標準時間凌晨 02:45 左右開始廣播 ETH/USDT 對的高度波動的價格。與此同時，另一家價格供應商 Binance 因屏蔽了 Mycelium 使用的與美國相關的 IP 而下跌。 因此，系統無法通過獨立的喂價重新平衡價格。Mycelium團隊強調，由于Binance中斷未得到廣泛傳播，Mycelium 僅使用了來自 Bitfinex 和 Coinbase 的數據。[2023/1/8 11:00:13]

ChatGPT可以承認錯誤，如果你認為他的回答不對，你可以讓他改正，并給出更好的答案。

ChatGPT可以質疑不正確的前提，GPT-3剛發布后很多人測試的體驗并不好，因為AI經常創造虛假的內容，而現在再問“哥倫布2015年來到美國的情景”這樣的問題，AI已經知道哥倫布不屬于這個時代了。

ChatGPT還采用了注重道德水平的訓練方式，按照預先設計的道德準則，對不懷好意的提問和請求“說不”；當然，盡管OpenAI非常小心，這種準則還是可能被聰明的提問方式繞開。

Interlay宣布推出比特幣超級應用計劃:11月5日消息，基于波卡生態的跨鏈互操作性網絡 Interlay在里斯本Web3峰會上宣布推出比特幣超級應用計劃（DeFi Superapp），即將構建一套去中心化金融應用，使用戶能夠以去中心化和無需信任的方式進行借貸、交易、并賺取比特幣收益而不需要依賴中心化的供應商。

Interlay于今年8月份推出了首個完全無需信任的 BTC 穩定幣橋 interBTC，通過 interBTC 可在其他區塊鏈上使用比特幣進行DeFi、跨鏈轉移、NFT等的安全交易。[2022/11/5 12:20:27]

4.ChatGPT的訓練方法

當下大模型的工作范式是“預訓練-微調”。首先在數據量龐大的公開數據集上訓練，然后將其遷移到目標場景中，通過目標場景中的小數據集進行微調，使模型達到需要的性能。微調/prompt等工作從本質上對模型改變并不大，但是有可能大幅提升模型的實際表現。人類問問題方式對于GPT-3而言不是最自然的理解方式，要么改造任務，要么微調模型，總之是讓模型和任務更加匹配，從而實現更好的效果。

ChatGPT是22年1月推出的InstructGPT的兄弟模型。InstructGPT增加了人類對模型輸出結果的演示，并且對結果進行了排序，在此基礎上完成訓練，可以比GPT-3更好的完成人類指令。ChatGPT新加入的訓練方式被稱為“從人類反饋中強化學習”。

Aptos生態NFT交易平臺Souffl3完成200萬美元種子輪融資:10月28日消息，Aptos生態NFT交易平臺Souffl3宣布完成首輪200萬美元的種子輪融資，本輪融資由Crypto.com、Capital和SynergisCapital共同領投，HuobiIncubator、M77Ventures和J17Capital參投。

Souffl3表示，這筆融資將用于建設下一代的NFT交易市場，服務創作者、發行者和交易者。[2022/10/28 11:52:47]

ChatGPT是基于GPT-3.5模型，訓練集基于文本和代碼，在微軟AzureAI服務器上完成訓練。原先GPT-3的訓練集只有文本，所以這次新增了代碼理解和生成的能力。

5.為什么ChatGPT的提升這么明顯

除了帶有記憶能力、上下文連續對話能帶給人顯著的交互體驗提升，ChatGPT的訓練方式也值得關注。上述提到的RLHF方法首見于22年3月發表的論文(Traininglanguagemodelstofollowinstructionswithhumanfeedback)，但根據業界的推測，RLHF并未用到InstructGPT的訓練中。InstructGPT所用到的text-davinci-002遇到了一些問題，會呈現出模式坍塌(modecollapse)現象，不管問他什么問題，經常收斂到同樣的答案，比如正面情緒相關的回答都是跟婚禮派對相關。

Celsius債權人委員會：將調查CEO Alex Mashinsky和其他內部人士的欺詐行為:8月9日消息，一個代表Celsius Network無擔保債權人的委員會昨晚發表了首份官方聲明。

該組織多次點名提及Celsius首席執行官Alex Mashinsky，并表示將“徹底調查Mashinsky和Celsius其他內部人士的欺詐行為，包括有問題的資產部署決策、欺詐轉移等問題。”

根據昨天的聲明，無擔保債權人官方委員會已于7月27日被任命。它由7名通過該平臺出借資金的個人和機構代表組成，分別是Caroline G. Warren、Thomas DiFiore、ICB Solutions、Christopher Coco、Andrew Yoon、Mark Robinson和Covario AG。

該委員會在聲明中表示：“委員會的目標是最大限度地追回賬戶持有人和無擔保債權人的損失。委員會打算積極參與債務人破產流程，并把債務人賬戶持有人和無擔保債權人的利益放在首位。”

該組織聘請了White & Case律所、重組顧問M3 Partners和區塊鏈咨詢公司Elementus擔任顧問，還任命一家專門從事重組業務的投資銀行Perella Weinberg Partners為“潛在交易”提供咨詢，幫助收回資金。此外，它正在委托Kroll“建立一個網站和呼叫中心，向賬戶持有人和無擔保債權人提供有關破產程序的信息。”（The Block）[2022/8/9 12:12:18]

這次RLHF的方法得以在ChatGPT上應用，并取得了很好的效果。但RLHF實際上并不容易訓練，強化學習很容易遇到模式坍塌，反饋過于稀疏這類問題，訓練起來很困難。這可能也是為什么論文在3月發表，ChatGPT在12月才上線，中間需要大量的時間來調優。

此外，指令調整的貢獻也很大。InstructGPT雖然在參數上比GPT-3少了100倍，它的輸出效果比GPT-3以及用監督學習進行微調的模型都要好得多。

根據知乎用戶“避暑山莊梁朝偉”的觀點：“InstructionTuning和Prompt方法的核心一樣，就是去發掘語言模型本身具備的知識。而他們的不同點就在于，Prompt是去激發語言模型的補全能力，比如給出上半句生成下半句、或者做完形填空，都還是像在做languagemodel任務，而InstructionTuning則是激發語言模型的理解能力，通過給出更明顯的指令，讓模型去理解并做出正確的反饋。”

參考下圖，以前大模型的提升重心更多放在了大模型本身和PromptEngineering上，而ChatGPT的迭代重點是右側的閉環。

action-drivenLLM訓練流程圖

最后，ChatGPT在過于保守不提供有效回答和提供虛假信息之間做出了較好的權衡。之前Meta用于科研的大模型Galactica上線僅3天就被迫下線，因為提供了過多虛假的信息。這跟Meta的宣傳策略也有關，其本意是想幫助研究人員整理信息、輔助寫作，但Meta將其模型宣傳為“可以總結學術論文，解決數學問題，生成維基文章，編寫科學代碼，為分子和蛋白質做注解等”，過高期望帶來了反效果，科研人員本來就是挑剔的。ChatGPT盡管不能完全避免虛假信息的問題，但可以看出在微調/Prompt方面做了足夠細致的工作，一些自相矛盾的提問可以被甄別出來，讓用戶對其回答更有信心。

6.商業策略也是重要一環

這次ChatGPT是免費不限量向公眾開放，用戶可以盡情在平臺上嘗試各種奇異瘋狂的想法，而此前GPT-3是根據使用量(token)來收費的。在使用過程中，用戶可以提供反饋，這些反饋是對OpenAI最有價值的信息。OpenAI并不急于創收也不缺錢，坊間傳言最新一輪估值已經達到數百億美金，還有金主爸爸微軟。

對于AI發展來說，工程的重要性實際上大于科學，創建一個迭代反饋的閉環至關重要。OpenAI很注重商業應用，GPT-3已經擁有大量客戶。這些客戶跟OpenAI的反饋互動也是推動進步的關鍵一環。相比之下，谷歌的閉門造車就顯得不合時宜，或許是缺乏商業化的文化，或許是受限于投入產出比，谷歌對于大模型的應用一直很“克制”，即便起點很高，但如果一直像Waymo做自動駕駛一樣小規模迭代，早晚會被更為開放，獲得更多數據的企業超越。

7.后續提升點

RLHF是一種較新的方法，隨著OpenAI不斷摸索，結合ChatGPT搜集到的用戶反饋，模型還有進一步提升的空間。尤其是在道德/alignment層面，需要屏蔽掉這幾天大家試驗出來的繞過系統限制產生負面信息的方法。

當然也別忘了，OpenAI還有WebGPT這樣的工具，可以理解為高階版網頁爬蟲，從互聯網上摘取信息來回答問題，并提供相應出處。比如下面的問題Howdoneuralnetworkswork，WebGPT利用了GPT-3本身具備的語義理解能力和互聯網公開信息，自己結合出了一份答案，不失為一種升級的搜索能力。

在MITTechnologyReview對OpenAI科學家的采訪中，他們提到了后續有可能將ChatGPT和WebGPT的能力結合起來。有網友挖掘出了ChatGPT內設的提示詞，其中包含browsing:disabled，把瀏覽網頁能力關閉了，也就是說后續有可能加入這個能力。可以設想，ChatGPT+WebGPT可以產生更為有意思的結果，信息可以實時更新，對于事實真假的判斷將更為準確。

與WebGPT的這種結合，對應到上面?action-drivenLLM訓練流程圖?的左半部分，即連接外部的信息源和工具庫。事實上網頁搜索只是一種可能，還結合利用各種工具，實現更豐富的功能。

在產品層面，是不是有更好的界面和實現方式也值得討論。同屏對話框形式容易讓人產生過高的預期，因為要保障對話的流暢性。在這一點上，GithubCopilot產品就做得很好，Copilot主打的是programmingpair，以伙伴的身份提出建議。從用戶角度，這個建議好就接受，不好就不接受；即便提出了很多不被接受的建議，但在隨機時間間隔產生的有效建議帶來的爽感就會讓用戶上癮。如果ChatGPT后續成為寫作助手、編劇助手、工作助手等等，類似Copilot的產品形態會容易讓人接受。

寫在最后

很多人驚嘆于ChatGPT的能力，但其實真正驚艷的還在后面。OpenAI最厲害的不是他關于大模型的理解，而是其工程化、迭代反饋的能力，以及alignment(AI跟人類目標的統一）方面的工作。很欣賞OpenAICEOSamAltman的一句話：“Trusttheexponential.Flatlookingbackwards,verticallookingforwards.”?我們就處在即將起飛的這個點上。

Tags：GPTCHAHATATGarbgpt幣團隊chat幣發行價hathor幣ATG幣

FIL