寫在前面
2月13日,《2022年北京人工智能產業發展白皮書》正式發布,其中提到全面夯實人工智能產業發展底座,支持頭部企業打造對標ChatGPT的大模型,著力構建開源框架和通用大模型的應用生態。
很巧的是,颯姐團隊成員在今年10月份的時候測評過:百度文心、源1.0、某道,三款國內現有的大模型,當時對測評結果甚是遺憾。于是又將當時的測試內容讓ChatGPT做了一遍,試圖摸清國內外大語言模型在問答這一領域的實際差距,旨在希望國內產學研戒驕戒躁,穩扎穩打地發展。
測試方案
本次測試僅僅考慮非連續性的單次問答,且皆為常識性問題,答案唯一,但題目會有一定的挑戰性。具體的,涉及到What,When,Where,Who,Which五類問題。
國內首個“區塊鏈﹢新能源”專利獲授權:近日,由國網寧夏電力、國網電商公司共同申請的區塊鏈核心技術發明專利“基于區塊鏈的新能源用電數據處理方法、裝置及參與節點”成功獲得國家知識產權局授權。為適應高占比大規模新能源出力體系,該專利首次構建了基于區塊鏈技術與新能源出力特性相適應的交易模式,服務于新能源消納高占比輸出。該專利屬國內首個“區塊鏈﹢新能源”授權專利,是能源電力行業區塊鏈核心技術自主創新的重要突破。[2020/11/17 21:02:05]
問題樣例如下:
1.“是什么”型問題,如“爸爸的爸爸叫什么?”
2.“什么時候”型問題,如“人們一般什么時候過元旦?”
3.“什么地點”型問題,如“孫中山安葬在哪里?”
4.“是誰型問題”,如“中國歷史上第一個皇帝是誰?”
聲音 | 委內瑞拉總統:政府將使用加密資產作為免費的國內和國際支付手段:據Pymnts消息,委內瑞拉總統馬杜羅(Nicolas Maduro)在電視新聞發布會上表示,政府將使用加密資產作為免費的國內和國際支付手段。Maduro表示,財政部長和委內瑞拉央行有了新的工具,我們將很快激活這些工具,這樣每個人都可以通過央行賬戶進行銀行交易,以及國家和國際支付。據悉,委內瑞拉央行一直在執行內部測試,以確保它可以在外匯儲備中持有加密。該國一直試圖尋找繞過美國制裁的方法,包括創建自己的加密貨幣石油幣(Petro)。[2019/10/1]
5.“哪?個型問題”,如“哪個洲是倒數第二小的洲?”
問答樣例對比
問題:“孫中山安葬在哪里?”
ChatGPT:孫中山的遺體最初安葬在南京中山陵內,后因戰亂多次遷移。最終于1929年安葬在南京中山陵北麓的紫金山下,此地現為孫中山陵園。
動態 | 美國內華達大學里諾分校與物聯網公司合作開發自動駕駛汽車區塊鏈技術:據Cointelegraph消息,美國內華達大學的里諾和內華達應用研究中心(NCAR)與物聯網公司Filament合作開發自動駕駛汽車區塊鏈技術,旨在提高無人駕駛聯網汽車與周邊基礎設施之間的安全性和通信。[2019/4/24]
百度文心:孫中山墓地
某道:"孫文(1866年-1925年10月12日),名文,字載之,號仲立,又名帝光,廣東省香山縣(今中山市)南朗鎮翠亨村人,1883年(光緒九年)隨父移居澳門。1904年參加孫中山領導的同盟會,任同盟會南方支部書記。曾兩次赴日,組織策劃惠州起義。后回澳門發展組織,被選為中國同盟會南方總支部庶務部長。1905年春,與陳少白、朱執信等在香港成立興中會,被舉為評議部評議員,旋被派往南洋聯絡同志,協助籌辦革命刊物《中興日報》。1906年冬,孫中山在日本東京成立中國同盟會中部總會,被委為秘書。1907年奉命回國,在廣東發動民軍起義。事敗后潛赴南洋,繼續組織發動華僑、華工和留學生進行革命活動。1911年武昌起義爆發后,被派往廣州協助籌劃起義,不幸事泄被捕,不久在廣州黃花崗就義。
分析 | 報告:2018年國內區塊鏈行業共發生234例融資:據前瞻產業研究院最新報告顯示,從互聯網金融行業獲得融資的細分領域來看,2018年國內最受青睞的是區塊鏈行業,全年共發生234例融資。[2019/2/24]
源1.0:孫中山安葬在南京紫金山中山陵
問題:哪個洲是倒數第二小的洲?
ChatGPT:開始回答了錯誤的答案,與其對話后成功糾正
百度文心:南極洲
某道:南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)“
聲音 | 萬卉:國內多數礦工運行的都不是全節點:丹華資本前董事總經理、Primitive創始人萬卉剛剛在推特上轉發比特幣節點分布圖并表示:中國的全節點在全球占比非常少,這是因為大多數的礦工運行的都不是完整的節點,而且有數以千計的礦工連接的都是同一個節點。據bitnodes當前數據顯示,當前全球比特幣全節點共有10241個,美國占比為24.41%、德國占比18.88%,而中國占比僅有3.99%。[2019/1/26]
源1.0:大洋洲
總體分析
四個系統對于基本問題的問答可謂是手到擒來。五類問題中,when問題和who問題整體回答的情況最好。三個國產系統中整體文心系統的表現最好。ChatGPT也會犯錯,但是往往只要略微引導,便能改正錯誤。
錯誤回答分析
錯誤語句生成:語句本身并不通順,前后主題不一致或者內容不一致,給人錯亂的感覺。
例如問:爸爸的爸爸稱謂是什么?
答:??爸爸的父親,也就是爸爸的爺爺,是媽媽的爸爸。爸爸的爺爺的爸爸叫太爺爺。爸爸的爺爺的爺爺叫太奶爺(奶奶的爸爸)
或問:我們黨二大在哪里召開?
答:1921年7月23日至31日,中國共產黨第二次全國代表大會在浙江省嘉興市南湖的一艘游船上召開。出席大會的正式代表共13人,候補代表5人,代表全國121名共產黨員。共產國際代表馬林、尼科爾斯基和鮑羅廷等參加了會議。
事實性錯誤:產生了事實性的錯誤。
例如問:?孫文去世的日子?
答:孫文去世的日子是1918年3月13日
偏見性素材:回答取自的素材較少,體現比較強的筆者的主觀性。
例如問:大家什么時候過元旦?
答:謝邀。我是在大學過的,所以元旦是在宿舍過的。我們宿舍六個人,有四個人都回家了,剩下我一個在宿舍,所以元旦那天我過得比較孤獨,不過還好啦,因為宿舍就我自己了,所以我可以一個人吃飯,一個人看電影,一個人逛超市,一個人睡覺,一個人......
含有邏輯性的問題無法識別:問題中存在復合問題或者邏輯判斷,一般難以處理。
例如問:哪個洲是倒數第二小的洲?
答:"南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)
寫在最后
颯姐團隊認為,傳統的單一問答模型可用性不大,給予用戶的體驗感也欠佳,國產大語言模型下一個里程碑,前輩ChatGPT已經給出了方向,便是對話問答。在使用ChatGPT的時候,雖然它也經常會給出錯誤答案,但是其回答的邏輯依舊符合人的習慣,同時經過一定的對話引導,可以自行發現其回答邏輯性的缺失。
作為全新的一種數據合成方式,大語言模型的直接輸出可能是我們人類無法把控的,但是只要它能“理解”用戶的輸入,以此為依調整其輸出,最后得到滿意的回答,那便是可用的。進一步的,大語言模型未來的趨勢很有可能是提前預判用戶可能的“糾錯”,并提前“自糾錯”,并對糾錯結果進行評估。
Tags:區塊鏈HATGPTCHA區塊鏈最直白的解釋chatcoin幣未來價值BGPT幣chainlink幣哪一年暴漲的
原文標題:TokenUnlocksaren''tallcutfromthesamecloth原文作者:ConorRyder原文來源:Twitter編譯:Kate.
1900/1/1 0:00:00原文:《全倉杠桿NFT借貸協議ParaSpace是「BendDAO殺手」嗎?》作者:0xLaughing.
1900/1/1 0:00:0021:00-7:00關鍵詞:Coinbase、印度央行、美聯儲、CPI1.CoinbaseCEO:Coinbase的質押服務不是證券.
1900/1/1 0:00:00DeFi數據 1、DeFi代幣總市值:461.47億美元 DeFi總市值及前十代幣數據來源:coingecko2、過去24小時去中心化交易所的交易量28.
1900/1/1 0:00:00據官網消息,Web3基礎設施公司BlockJoy宣布完成近1100萬美元種子輪及A輪融資,GradientVentures、DraperDragon、ActiveCapital、Borderle.
1900/1/1 0:00:00頭條 ▌英國政府公布了監管加密貨幣交易和借貸的計劃金色財經報道,英國政府通過財政部周三發布的咨詢文件引入了新的加密貨幣監管框架,其中包含更嚴格的投資和交易規則.
1900/1/1 0:00:00