撰文:KyleWiggers
來源:TechCrunch
圖片來源:由無界AI工具生成
從歷史上看,甚至在今天,記憶力差一直是阻礙文本生成式人工智能發揮作用的一個因素。正如《大西洋》雜志最近發表的一篇文章?所說,即使是像ChatGPT這樣復雜的生成式文本人工智能,其記憶力也像金魚一樣。每次模型生成響應時,它只考慮到非常有限的文本量,因此它也無法總結一本書或審查一個主要的編碼項目。
Oanda分析師:短期內美國監管不會影響加密市場的持續增長:金色財經報道,外匯做市商Oanda高級市場分析師Edward Moya表示,比特幣測試了2.5萬美元的水平后,未能繼續走高,許多活躍的交易員獲利了結。短期內,投資者對風險資產的興趣可能會下降,一段時間內,美國對加密市場的新監管舉措的不會影響其持續增長的能力,加密市場仍有機會自行調整。但很多資金可能會離開穩定幣,轉向其他類型的加密投資。[2023/2/18 12:14:42]
但Anthropic正試圖改變這種狀況。
今天,這家人工智能研究初創公司宣布,它已將Claude的上下文窗口從9000個token擴展到了10萬個token。上下文窗口指的是模型在生成額外文本之前考慮的文本,而token代表原始文本。
谷歌搜索關鍵詞“購買比特幣”的興趣降至兩年低點:金色財經報道,數據顯示,谷歌對關鍵詞“購買比特幣”的搜索興趣創下了兩年新低,在截至 9 月 10 日的一周內,得分為6 。值得注意的是,對該關鍵字的最后一次低興趣是在 2020 年 10 月 17 日記錄的,當時加密貨幣正為新一輪反彈做準備,最終在去年?的牛市中創出新高。[2022/9/13 13:25:10]
那么,這意味著什么呢?正如前面所提到的,具有小上下文窗口的模型往往會“忘記”即使是最近的對話內容--導致它們偏離主題。在幾千字左右之后,小模型也會忘記最初的指示,只根據上下文窗口中的最后的信息來進行響應。
Coinbase因技術工作暫停GMT交易和充提,大約4個小時恢復:金色財經消息,Coinbase通過官方渠道宣布,將于13日15:00 ET暫停STEPN(GMT)交易和充提服務,以進行有必要的技術工作,操作大約需要4個小時,然后交易和充提將恢復。[2022/7/13 2:09:03]
鑒于大上下文窗口的好處,找出擴展的方法已成為OpenAI等AI實驗室的主要關注點,要知道,OpenAI將整個團隊都投入到了這個問題上了。OpenAI的GPT-4在上下文窗口的大小方面保持著之前的領先地位,其規模最高可達32,000個token,而改進后的ClaudeAPI已然超越了這一數字。
有了更強的“記憶力”,Claude應該能夠相對連貫地交談幾個小時——甚至幾天——而不是幾分鐘。也許更重要的是,它應該也不太可能偏離軌道。
在博文中,Anthropic對Claude增加上下文窗口的其他好處進行了介紹,包括該模型消化和分析數百頁材料的能力。Anthropic稱,除了閱讀長文本,升級后的Claude可以幫助從多個文件甚至一整本書中檢索信息,回答哪些需要跨文本的“綜合知識”問題。
Anthropic列出了一些可能的用例:
對財務報表或研究報告等文件進行消化、總結和解釋
根據公司的年度報告,分析其風險和機會
評估一項立法的優點和缺點
識別風險、主題和跨法律文件的不同論證形式。
閱讀數百頁的開發者文檔,呈現技術問題的答案
通過將整個代碼庫放入上下文中并智能地構建或修改它來快速制作原型
“普通人可以在5個小時左右閱讀10萬個token的文本,然后可能需要大量的時間來消化、記憶和分析這些信息,”Anthropic繼續說道。“Claude現在可以在不到一分鐘的時間內做到這一點。例如,我們把《了不起的蓋茨比》的全部內容輸入進了Claude......并修改了其中一行,說Mr.Carraway是‘一個在Anthropic從事機器學習工具的軟件工程師’。當我們要求Claude發現有什么不同時,它在22秒內就給出了正確答案。”
此外,Anthropic的合作伙伴AssemblyAI也進行了相關測試。在視頻演示中,該團隊用Claude-100k將一個長播客轉錄成58K單詞,然后使用Claude進行總結和問答。該團隊給出的評價是:insane!太瘋狂了!
目前,更長的上下文窗口并不能解決圍繞大型語言模型的其他與記憶有關的挑戰。Claude,像其同類的大多數模型一樣,無法將信息從一個會話保留到下一個會話。而且與人腦不同的是,它把每一條信息都視為同等重要,這使得它并不能成為一個特別可靠的敘述者。一些專家認為,解決這些問題將需要全新的模型架構。
不過,就目前而言,Anthropic似乎走在了前列。
原文作者:YuukiYang、LDCapitalResearch 導讀: 2023年的NFT市場可以以2月14日Blur上線作為分水嶺.
1900/1/1 0:00:00來源:科創板日報 作者:徐賜豪 原標題:《一季度虧損2.68億美元元宇宙第一股Roblox業績“9連虧”》 元宇宙第一股Roblox昨晚公布了2023年第一季度財報.
1900/1/1 0:00:00原文標題:《SmallApplications,GrowingProtocols》原文作者:PackyMcCormick,NotBoring原文編譯:Sleepy.
1900/1/1 0:00:00撰文:EdwardLee來源:FreeThink 圖片來源:由無界AI工具生成在過去的幾個月里,世界見證了GPT令人炫目的能力。它們最革命性的突破之一是根據對GPT程序的文本提示創造圖像.
1900/1/1 0:00:00在幣圈,有一類奇葩的虛擬代幣項目頗受追捧,人們通常叫它“土狗”。這些項目一般團隊匿名,沒啥技術含量,強調草根文化,甚至會明說“代幣沒有價值”.
1900/1/1 0:00:00據CoinDesk10月30日消息,許多新興市場和發展中經濟體一直在尋求通過穩定幣和央行數字貨幣解決其金融系統的弱點.
1900/1/1 0:00:00