兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_AMA:LAMA

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

金色算力云合伙人Jade Chen：礦機性能與網絡不匹配、前置質押機制設計，成為導致Filecoin熱度下降兩大原因:12月23日，“瞰見未來—國際區塊鏈技術創新峰會暨Cointelegraph中文一周年”大會在三亞灣海居鉑爾曼酒店拉開序幕，本次大會由Cointelegraph中文主辦、Nova聯合主辦，匯聚重磅嘉賓、聚焦行業熱門議題，共討2020年區塊鏈技術發展、落地應用場景，展望區塊鏈行業的未來發展趨勢。

在主題為“從CPU到ASIC，如何開啟挖礦新時代”的圓桌論壇上，金色算力云、開源礦池合伙人Jade Chen針對Filecoin熱度下降表示，在Filecoin主網上線前，頭部礦機廠商布局50億礦機產品。在主網上線后，第一批礦機性能與Filecoin網絡不匹配，加之前置質押代幣機制設計，導致Filecoin熱度回落，但依舊長期看好分布式存儲賽道的發展。[2020/12/23 16:15:28]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

初夏虎：元界DNA既便宜又高速，兩大優勢競爭力明顯:8月24日消息，在以“元界DNA主網上線，將如何改造DEFI產業現狀”為主題的AMA上。

初夏虎表示，在2022年phase2上線前，以太坊的TPS不會有本質性的改善。元界DNA于8月10號上線了主網1.0版本Helix, 競爭力非常明顯。第一，速度特別快，目前的主網出塊速度大概是在0.5秒左右，測試速度已經超過了10000TPS，比以太坊快了近百倍。第二，相較于以太坊現在1-10美元的轉賬手續費，元界雙鏈上的轉賬費用不高于1美分。元界雙鏈可以做到既便宜又高速，這是兩大優勢。

目前元界DNA已上線包括OKEx、ZB、Bittrex（B網）等全球19家主流交易平臺。[2020/8/24]

動態 | 以太坊面臨可擴展性和擁塞兩大問題:據coincryptorama報道，以太坊（ETH）在推出后被認為是數字貨幣和區塊鏈的改變者。但是，以太坊目前正在經歷可擴展性和擁塞問題。根據Etherscan的數據顯示，以太坊未完成的交易已經超過了90,000大關。由于網絡上的可擴展性問題，許多分散的應用程序和初始代幣產品正在從以太坊平臺遷移到其他平臺。其他的區塊鏈項目如EOS、Tron和Stellar Lumens正成為以太坊的威脅。[2018/12/3]

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

XRP Arrington創始人Michael Arrington談2018年區塊鏈發展兩大趨勢:今日，XRP Arrington創始人Michael Arrington談到2018年區塊鏈發展兩大趨勢時表示：現在的趨勢就是看美國證券交易委員會（SEC）要做什么，他們會進一步毀掉美國的交易，會建立一些讓我們能夠依據的規則，還是會去阻擊個體的交易，這是一個趨勢。從功能性代幣（Utility Token）完全轉移到證券型代幣（Security Toekn）也是一個趨勢，對這點我很興奮。我們會在證券型代幣領域做更多。[2018/2/24]

在各類性能評估中，與原版LLaMA不相上下。

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMALAMALlama以太坊metamask下載appLlamaSwapBABYLLAMA以太坊幣最新價格走勢圖

MATIC