橫跨6種模態 Meta開源AI模型ImageBind 為虛擬世界打開大門_MAGE:MagicCraft

來源：《科創板日報》

編輯宋子喬

當地時間5月9日，Meta宣布開源了一種可以將可以橫跨6種不同模態的全新AI模型ImageBind，包括視覺、溫度、文本、音頻、深度信息、運動讀數。目前，相關源代碼已托管至GitHub。

何為橫跨6種模態？

即以視覺為核心，ImageBind可做到6個模態之間任意的理解和轉換。Meta展示了一些案例，如聽到狗叫畫出一只狗，同時給出對應的深度圖和文字描述；如輸入鳥的圖像+海浪的聲音，得到鳥在海邊的圖像。

DefiLlama推出瀏覽器插件，可提供鏈上地址標記:金色財經報道，DefiLlama 推出瀏覽器插件 DefiLlama Extension，可以在 Etherscan（或其他區塊鏈瀏覽器）上提供“上帝模式”，同時保護用戶免受訪問的可疑 URL 的侵害。主要功能包括：鏈上錢包地址標記、Etherscan 上外來 Token 的精準定價、釣魚鏈接警告。

DefiLlama 已使用標簽標記了數千萬個地址，用戶可揭開每個加密錢包背后的神秘人物。可以展示任何在 Etherscan 上出去價格 Token 的準確定價，還可在填充丟失的價格后重新計算 Token 余額。瀏覽器擴展工具欄上圖標是一種非侵入式指示器，當訪問可疑網站時它會變成紅色，當訪問受信任的網站時它會變成綠色。[2023/3/8 12:48:44]

a16z公布首批Optimism代表名單，含GFX Labs和6所高校學生社團:2月15日消息，a16z宣布代表a16z參與投票的Optimism基金會第一批代表名單，名單由7名代表組成，包括GFXLabs以及南加州大學、卡耐基梅隆大學、普渡大學、北卡羅來納州立大學、佐治亞理工學院、東北大學6所高校的區塊鏈協會。每位代表將獲得100萬枚OP委托授權，預計在3月底前完成。

a16z網絡運營官Ross Shuel表示，a16z根據9個關鍵標準對潛在代表進行評估，并與被選代表簽署法律協議，不會控制委托投票，如果沒有罕見的法律例外，委托授權將至少維持6個月。目前，a16z第二批Optimism代表已開放申請。[2023/2/15 12:08:17]

而此前的多模態AI模型一般只支持一個或兩個模態，且不同模態之間難以進行互動和檢索。ImageBind無疑具有突破性意義，Meta稱，ImageBind是第一個能夠同時處理6種感官數據的AI模型，也是第一個在沒有明確監督的情況下學習一個單一嵌入空間的AI模型。

Gemini終止其加密收益產品，要求Genesis歸還所有未償資產:金色財經報道，加密貨幣交易所 Gemini 在周二的一封電子郵件中表示已終止了其客戶與 Genesis 之間的主貸款協議 (MLA)，該交易所表示：“這正式終止了Gemini Earn 計劃，并要求 Genesis 歸還該計劃中的所有未償資產。現有的贖回請求不受影響，并繼續等待 Genesis 的實現”。周二，Gemini 創始人 Winklevoss 寫了另一封公開信，要求罷免 DCG CEO Barry Silbert，并指責 DCG 和 Genesis 進行會計欺詐。Genesis 的一位發言人在一份聲明中表示，該公司“并不同意 Gemini 所說的一切”，并且“對 Gemini 進行公共媒體宣傳感到失望，盡管雙方正在進行富有成效的私下對話。” 它補充說：“這是一個非常復雜的過程，需要一些額外的時間，但我們致力于盡快采取行動。”

Gemini Earn 于 2021 年 2 月推出，作為加密貨幣存款的生息賬戶銷售，Genesis 提供 Gemini Earn 投資者收到的收益。[2023/1/11 11:05:31]

ImageBind能做到這些，核心方法是把所有模態的數據放入統一的聯合嵌入空間，無需使用每種不同模態組合對數據進行訓練

先利用最近的大型視覺語言模型它將最近的大規模視覺語言模型的零樣本能力擴展到新的模態，它們與圖像的自然配對，如視頻-音頻和圖像-深度數據，來學習一個聯合嵌入空間。

而以圖像/視頻為中心訓練好AI后，對于原始數據中沒有直接聯系的模態，比如語音和熱量，ImageBind表現出涌現能力，把他們自發聯系起來。

有行業觀察者已經迫不及待地將ImageBind于元宇宙聯系在一起。

正如Meta的研究團隊所說，ImageBind為設計和體驗身臨其境的虛擬世界打開了大門。該團隊還表示，未來還將加入觸覺、語音、嗅覺和大腦功能磁共振信號，進一步探索多模態大模型的可能性，“人類可使用多種感官學習、了解世界，借助ImageBin，機器離人類又近了一步”。

值得注意的是，Meta還表示，ImageBind可以利用DINOv2強大的視覺功能進一步提高其能力。DINOv2是Meta開源的計算機視覺領域的預訓練大模型，同樣與Meta的元宇宙愿景密不可分，MetaCEO扎克伯格此前強調，DINOv2可以極大地加持元宇宙的建設，讓用戶在元宇宙中的沉浸體驗更出色。

盡管ImageBind目前只是研究項目，沒有直接的消費者用戶或實際應用。但可以想象的是，隨著ImageBind模型逐步完善，AI應用場景將進一步拓展，元宇宙建設也將更進一步。

比如當ImageBind融入虛擬現實設備，使用者能獲得更沉浸式的體驗，玩家進入游戲后不僅能感受游戲場景的溫度，還能感知物理層面上運動。

國盛證券分析師劉高暢此前大膽預測，1-5年內，隨著多模態的發展帶來AI泛化能力提升，通用視覺、通用機械臂、通用物流搬運機器人、行業服務機器人、真正的智能家居會進入生活。未來5-10年內，結合復雜多模態方案的大模型有望具備完備的與世界交互的能力，在通用機器人、虛擬現實等領域得到應用。

Tags：MAGEBINMAGINDimagecoinBinance dogMagicCraftLINDACEO價格

火必交易所