國內“ChatGPT們”的出路在何方？_區塊鏈:DIDP

寫在前面

2月13日，《2022年北京人工智能產業發展白皮書》正式發布，其中提到全面夯實人工智能產業發展底座，支持頭部企業打造對標 ChatGPT的大模型，著力構建開源框架和通用大模型的應用生態。

很巧的是，颯姐團隊成員在今年10月份的時候測評過：百度文心、源1.0、某道，三款國內現有的大模型，當時對測評結果甚是遺憾。于是又將當時的測試內容讓ChatGPT做了一遍，試圖摸清國內外大語言模型在問答這一領域的實際差距，旨在希望國內產學研戒驕戒躁，穩扎穩打地發展。

測試方案

本次測試僅僅考慮非連續性的單次問答，且皆為常識性問題，答案唯一，但題目會有一定的挑戰性。具體的，涉及到What,When, Where, Who, Which五類問題。

國內首個分布式數字身份會員證發出:12月18日，中國物流與采購聯合會區塊鏈應用分會在2021中國雙鏈年會上，向協會會員、理事會成員、專家委員會成員等頒發了中物聯區塊鏈分會DID證（BAAC-DID）。據了解，本次頒發的會員證及身份體系均由騰訊云區塊鏈分布式身份服務TDID提供技術支撐。

本次中物聯區塊鏈分會發布的BAAC-DID正是分布式身份服務技術落地的一次創新嘗試。在騰訊云TDID的支持下，用戶可以在BAAC-DID上注冊生成分布式身份標識符（DIDs），同時也能夠以該身份標識符DIDs向中物聯區塊鏈分會申請會員證、理事證、專家證等現實世界中的各類憑證（VCs）。（東方網）[2021/12/21 7:53:35]

問題樣例如下：

1. “是什么（What）”型問題，如“爸爸的爸爸叫什么？”

2.“什么時候（When）”型問題，如“人們一般什么時候過元旦？”

3.“什么地點（Where）”型問題，如“孫中山安葬在哪里？”

分析人士：預計國內礦企和交易所將進一步加速全球化布局:一位資深分析人士表示，此次中國監管動作肯定會對礦圈產生深遠影響，預計后續國內的礦圈企業還有交易所等，將進一步加速全球化布局，后續，北美、歐洲、中亞等地區以及接受挖礦行為的國家，都將會成為礦圈企業的業務發力點。在他看來，只要幣圈還在，比特幣等虛擬貨幣市場沒有被完全禁止，幣圈交易和挖礦行為就難以杜絕。（北京商報）[2021/6/15 23:36:59]

4.“是誰（Who）型問題”，如“中國歷史上第一個皇帝是誰？”

5.“哪?個（Which）型問題”，如“哪個洲是倒數第二小的洲？”

問答樣例對比

問題：“孫中山（孫文）安葬在哪里？”

ChatGPT：孫中山的遺體最初安葬在南京中山陵內，后因戰亂多次遷移。最終于1929年安葬在南京中山陵北麓的紫金山下，此地現為孫中山陵園。

百度文心：孫中山墓地

青島中程：在國內重點圍繞區塊鏈溯源等領域進行布局:青島中程（SZ300208）在問董秘平臺表示，公司實施“一體兩翼、國內外雙輪驅動”的發展戰略。在國內方面，根據國家戰略性新興產業布局和青島市產業升級發展要求，設立智能制造控股子公司，在先進制造業和高新技術領域開展布局，重點圍繞大數據應用、人工智能、區塊鏈溯源等科技創新型產業的技術研發與市場化應用領域進行布局，從未放棄國內市場。[2020/3/25]

某道："孫文(1866年-1925年10月12日),名文,字載之,號仲立,又名帝光,廣東省香山縣(今中山市)南朗鎮翠亨村人,1883年(光緒九年)隨父移居澳門。1904年參加孫中山領導的同盟會,任同盟會南方支部書記。曾兩次赴日,組織策劃惠州起義。后回澳門發展組織,被選為中國同盟會南方總支部庶務部長。1905年春,與陳少白、朱執信等在香港成立興中會,被舉為評議部評議員,旋被派往南洋聯絡同志,協助籌辦革命刊物《中興日報》。1906年冬,孫中山在日本東京成立中國同盟會中部總會,被委為秘書。1907年奉命回國,在廣東發動民軍起義。事敗后潛赴南洋,繼續組織發動華僑、華工和留學生進行革命活動。1911年武昌起義爆發后,被派往廣州協助籌劃起義,不幸事泄被捕,不久在廣州黃花崗就義。

現場 | 工業和信息化部賓建偉：區塊鏈標準結合了國內外發展趨勢 滿足業內對不同行業的評估需求:金色財經現場報道，1月9日，2019首屆海南GFIS國際金融科技創新峰會在海南海口盛大召開，工業和信息化部電子第五研究所副主任賓建偉進行現場演講。她指出，標準研制結合了國內外區塊鏈發展趨勢，創新的提出了一系列滿足業內評估不同行業、不同安全等級的檢測需要的區塊鏈信息系統的評估內容及方法。標準的技術參考架構，主要分為區塊鏈信息系統平臺層、中間層、API層、應用層等。

區塊鏈信息系統評估規范的研究將是一項長期的、持續的、不斷改進的工作。在這里，我也熱烈歡迎各級政府、科研機構、區塊鏈企業及社會各界一同參與進來，共同完善區塊鏈信息系統評估體系。通過這次嘗試和探索，一定會對未來區塊鏈應用場景的建設，國家發展數字經濟產業，發揮積極作用。[2019/1/9]

源1.0：孫中山安葬在南京紫金山中山陵

問題：哪個洲是倒數第二小的洲？

中信銀行發布的首個區塊鏈國內信用證應用交易金額超過10億元:近日，在中信銀行2017年度業績發布會上，中信銀行副行長方合英介紹，中信銀行在貿易融資領域發布的首個區塊鏈國內信用證應用已有多家同業加入聯盟，交易金額超過10億元。注：去年7月份中信銀行公布上線國內首個基于區塊鏈的信用證信息傳輸系統(BCLC)。[2018/3/28]

ChatGPT:開始回答了錯誤的答案，與其對話后成功糾正（AMAZING！）

百度文心：南極洲

某道：南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)“

源1.0：大洋洲

總體分析

四個系統對于基本問題的問答可謂是手到擒來（本次樣例問題直接排除了簡單的基本問題，挑戰難度較高，因此整體錯誤率較高）。五類問題中，when問題和who問題整體回答的情況最好。三個國產系統中整體文心系統的表現最好。ChatGPT也會犯錯，但是往往只要略微引導，便能改正錯誤。

錯誤回答分析

錯誤語句生成：語句本身并不通順，前后主題不一致或者內容不一致，給人錯亂的感覺。

例如問：爸爸的爸爸稱謂是什么？

答：  爸爸的父親,也就是爸爸的爺爺,是媽媽的爸爸。爸爸的爺爺的爸爸叫太爺爺。爸爸的爺爺的爺爺叫太奶爺(奶奶的爸爸)

或問：我們黨二大在哪里召開？

答：1921年7月23日至31日,中國共產黨第二次全國代表大會在浙江省嘉興市南湖的一艘游船上召開。出席大會的正式代表共13人,候補代表5人,代表全國121名共產黨員。共產國際代表馬林、尼科爾斯基和鮑羅廷等參加了會議。

事實性錯誤：產生了事實性的錯誤。

例如問： 孫文去世的日子?

答：孫文去世的日子是1918年3月13日

偏見性素材：回答取自的素材較少，體現比較強的筆者的主觀性。

例如問：大家什么時候過元旦？

答：謝邀。我是在大學過的,所以元旦是在宿舍過的。我們宿舍六個人,有四個人都回家了,剩下我一個在宿舍,所以元旦那天我過得比較孤獨,不過還好啦,因為宿舍就我自己了,所以我可以一個人吃飯,一個人看電影,一個人逛超市,一個人睡覺,一個人......

含有邏輯性的問題無法識別：問題中存在復合問題或者邏輯判斷，一般難以處理。

例如問：哪個洲是倒數第二小的洲？

答：" 南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科）

寫在最后

颯姐團隊認為，傳統的單一問答模型可用性不大，給予用戶的體驗感也欠佳，國產大語言模型下一個里程碑，前輩ChatGPT已經給出了方向，便是對話問答。在使用ChatGPT的時候，雖然它也經常會給出錯誤答案，但是其回答的邏輯依舊符合人的習慣，同時經過一定的對話引導，可以自行發現其回答邏輯性的缺失。

作為全新的一種數據合成方式，大語言模型的直接輸出可能是我們人類無法把控的，但是只要它能“理解”用戶的輸入，以此為依調整其輸出，最后得到滿意的回答，那便是可用的。進一步的，大語言模型未來的趨勢很有可能是提前預判用戶可能的“糾錯”，并提前“自糾錯”，并對糾錯結果進行評估。

肖颯lawyer

個人專欄

閱讀更多

金色早8點

金色財經

Odaily星球日報

歐科云鏈

澎湃新聞

Arcane Labs

深潮TechFlow

MarsBit

BTCStudy

鏈得得

Tags：區塊鏈HATDIDCHA區塊鏈dapp開發pdfchat幣還值得擁有嗎DIDPLemoChain

以太坊價格