加密貨幣交易所 加密貨幣交易所
Ctrl+D 加密貨幣交易所
ads
首頁 > Coinw > Info

看不下去AI胡說八道,英偉達出手給大模型安了個“護欄”_OSMO:MOS

Author:

Time:1900/1/1 0:00:00

來源:量子位

作者:蕭簫

大模型們胡說八道太嚴重,英偉達看不下去了。

他們正式推出了一個新工具,幫助大模型說該說的話,并回避不應該觸碰的話題。

這個新工具名叫“護欄技術”,相當于給大模型加上一堵安全圍墻,既能控制它的輸出、又能過濾輸入它的內容。

一方面,用戶誘導大模型生成攻擊性代碼、輸出不道德內容的時候,它就會被護欄技術“束縛”,不再輸出不安全的內容。

另一方面,護欄技術還能保護大模型不受用戶的攻擊,幫它擋住來自外界的“惡意輸入”。

Cosmos生態DEX Osmosis已集成Celestia數據可用性層:8月9日消息,Cosmos生態系統DEX Osmosis已集成Celestia數據可用性層。Osmosis表示,未來Rollup網絡可以在任何地方訪問流動性并在Celestia上使用Osmosis網絡上的任何代幣跨鏈支付DA費用。Osmosis還表示,很快將與跨鏈應用構建平臺Hyperlane集成。[2023/8/9 21:34:20]

現在,這個大模型護欄工具已經開源,一起來看看它的效果和生成方法。

防止大模型胡言亂語的三類“護欄”

根據英偉達介紹,目前NeMoGuardrails一共提供三種形式的護欄技術:

話題限定護欄、對話安全護欄和攻擊防御護欄。

英國未來將投入1億英鎊支持“安全的人工智能”開發:金色財經報道,英國首相兼技術大臣發表聲明,宣布將提供1億英鎊的資金支持一個工作組以開發“安全的人工智能”。該工作組旨在開發安全可靠的人工智能,即在不限制創新的情況下,對技術進行監管,以“保證人們的安全”。[2023/4/26 14:28:25]

話題限定護欄,簡單來說就是“防止大模型跑題”。

大模型具備更豐富的想象力,相比其他AI更容易完成創造性的代碼和文字編寫工作。

但對于特定場景應用如寫代碼、當客服而言,至少用戶不希望它在解決問題時“脫離目標范圍”,生成一些與需求無關的內容。

Alameda Research尋求從Voyager Digital追討4.46億美元資金:1月31日消息,加密貨幣交易所FTX關聯公司Alameda Research尋求從Voyager Digital追討4.46億美元資金。[2023/1/31 11:37:46]

這種情況下就需要用到話題限定護欄,當大模型生成超出話題范圍的文字或代碼時,護欄就會將它引導回限定的功能和話題上。

對話安全護欄,指避免大模型輸出時“胡言亂語”。

胡言亂語包括兩方面的情況。

9月20日確定為“國際NFT日”:金色財經報道,據nationaltoday消息,9 月 20 日已被確定為“國際 NFT 日”。2017 年 9 月 20 日,Dapper Labs 首席技術官 Dete Shirley 在論文中發布 ERC-721 協議并首次提出“Non-Fungible Token(非同質化代幣)”一詞。“國際 NFT 日”不僅是為了紀念這一新概念提出,也是 NFT 的實際生日。另據行業最新數據顯示,當前 NFT 市場總市值約為 218.2 億美元,交易總額已達到 361 億美元。[2022/9/19 7:05:44]

一方面是大模型生成的答案中包括事實性錯誤,即“聽起來很有道理,但其實完全不對”的東西;

另一方面是大模型生成帶偏見、惡意的輸出,如在用戶引導下說臟話、或是生成不道德的內容。

攻擊防御護欄,即防止AI平臺受到來自外界的惡意攻擊。

這里不僅包括誘導大模型調用外部病APP從而攻擊它,也包括黑客主動通過網絡、惡意程序等方式攻擊大模型。護欄會通過各種方式防止這些攻擊,避免大模型癱瘓。

所以,這樣的護欄要如何打造?

如何打造一個大模型“護欄”?

這里我們先看看一個標準的“護欄”包含哪些要素。

具體來說,一個護欄應當包括三方面的內容,即格式規范、消息和交互流。

首先是格式規范,即面對不同問題的問法時,規定大模型要輸出的內容。

例如被問到“XX文章是什么”,大模型必須給出特定類型的“文章”,而非別的東西;被問到“誰發表了什么”,大模型必須給出“人名”,而非別的回答。

然后是消息定義,這里以“用戶問候”話題為例,大模型可以輸出這些內容:

最后是交互流的定義,例如告訴大模型,怎么才是問候用戶的最好方式:

一旦問候用戶的機制被觸發,大模型就會進入這個護欄,規規矩矩地問候用戶。

具體工作流程如下:首先,將用戶輸入轉換成某種格式規范,據此生成對應的護欄;隨后,生成行動步驟,以交互流指示大模型一步步完成對應的操作;最后,根據格式規范生成輸出。

類似的,我們就能給大模型定義各種各樣的護欄,例如“應對用戶辱罵”的護欄。

這樣即使用戶說出“你是個傻瓜”,大模型也能學會冷靜應對:

目前,英偉達正在將護欄技術整合進他們的AI框架NeMo中,這是個方便用戶創建各種AI模型、并在英偉達GPU上加速的框架。

對“護欄”技術感興趣的小伙伴們,可以試一試了~

Tags:OSMOMOSOSMNFTosmo幣簡介CosmostartercosmosNFT Worlds

Coinw
數據解讀比特幣的鏈上交易:日交易筆數創新高,_KEX:泰達幣和比特幣區別大嗎

原文作者:RafaelSchultze-Kraft,Glassnode?創始人兼?CTO原文編譯:Felix,PANews比特幣鏈上交易的數量最近出現了驚人的增長,單日交易超過?50?萬筆.

1900/1/1 0:00:00
金色早報 | Terawulf在4月自產出239個比特幣_BTC:比特幣行情圖實時查詢

頭條 ▌Terawulf在4月自產出239個比特幣金色財經報道,比特幣礦業公司Terawulf宣布2023年4月的生產和運營更新.

1900/1/1 0:00:00
BTC交易費用飆漲,礦工的春天來了,可能帶來哪些問題?_BTC:Hidigital btc

隨著近兩周BRC-20走熱,比特幣交易費用飆升。BTC.com數據顯示,BTC每日手續費從兩周前的13.6BTC增長至403.9BTC,兩周增幅2870%?,創下自2018年1月20日以來的最高.

1900/1/1 0:00:00
Arthur Hayes:美國金融危機風雨欲來 比特幣將成為最后的“避風港”_BTF:HitBTC

作者:ArthurHayes?編譯:Kate,Marsbit現在我們來談談更緊迫的問題:銀行體系如何分配不可避免的損失。各國都喜歡穩健的銀行體系.

1900/1/1 0:00:00
淺析LSD MEV賽道:MEV市場化和公平化將會為LSD帶來什么?_MEV:LSD幣

原文作者:雨中狂睡 原文編輯:David MEV是加密世界最重要的議題之一。它是指驗證者通過添加、刪除并更改區塊中的交易順序,在超過標準區塊獎勵和Gas費用的區塊生產中所能提取的最大價值.

1900/1/1 0:00:00
詳解MEV-Burn:以太坊的下一次大升級,EIP-1559的「邏輯延續」_MEV:togetherbnb手游下載女鬼

原文作者:DonovanChoy原文編譯:深潮TechFlow當EIP-1559于2021年8月在以太坊上實施時,這標志著網絡開始銷毀ETH.

1900/1/1 0:00:00
ads