回顧
IPFS-InterPlanetaryFileSystem星際文件系統,是一個點對點的分布式文件存儲系統,IPFS的愿景是構建一個全世界的分布式網絡,用來替代傳統中心化的服務器模式,所有的IPFS節點組成一個分布式網絡,每個節點都可以存儲文件,用戶可以從IPFS構建的網絡中以DHT(DistributedHashTable,分布式哈希表)?的方式獲取文件,從而實現了新一代的完全去中心化的網絡,旨在取代現有的萬維網。IPFS功能很豐富,如DHT組網,文件存儲,Bitswap文件交換等功能。
文件存儲和文件交換的技術詳解可以通過之前的推文內容進行了解,今天我們來了解這個文件系統的“地基”——網絡模塊。
IPFS網絡初識
IPFS是一個開源項目,要達到它聲稱的構建一個全世界的分布式網絡的目標,那么他必然要先解決不同國家、不同地區節點的連接問題。
聲音 | 人民日報:區塊鏈不只是下一代互聯網技術 更是下一代合作機制和組織形式:11月4日,人民日報刊文《區塊鏈,換道超車的突破口》,文章表示,發展區塊鏈大方向沒有錯,但是要避免一哄而上、重復建設,方能在有序競爭中打開區塊鏈的發展空間。中國在區塊鏈領域擁有良好基礎,一些大型互聯網公司早有布局,已有20多個省份出臺推動區塊鏈產業的政策,人才儲備相對充足,應用場景比較豐富,完全有條件在這個新賽道取得領先地位。從更大視野來看,人類能夠發展出現代文明,是因為實現了大規模人群之間的有效合作。市場經濟“看不見的手”,也是通過市場機制實現了人類社會的分工協作。在此基礎上,區塊鏈技術將極大拓展人類協作的廣度和深度。也許,區塊鏈不只是下一代互聯網技術,更是下一代合作機制和組織形式。[2019/11/4]
首先,看一下IPFS網絡部分配置,如下圖所示,紅框內部的Swarm是IPFS監聽的網絡地址,其中支持ipv4和ipv6協議,且默認支持QUIC協議。
寧波計劃引入區塊鏈技術 建立家政服務行業征信體系:央廣網寧波3月20日消息,3月18日,寧波市商務委負責人透露,寧波正在醞釀建立家政服務行業征信體系,相關工作今年啟動。寧波市商務委消費處處長尹秋平坦言,缺乏誠信是目前家政服務行業最大的痛點。尹秋平說,等到這套征信系統逐步完善,還考慮引入區塊鏈技術,讓缺乏誠信的服務人員無所遁形。“區塊鏈的特點是去中心化,很適合在征信系統中運用。當一個人的重要行為都被記錄在案,都可以查詢到的時候,每個人都要為自己的行為負責。” 尹秋平說,寧波家政創業園已經跟從事區塊鏈技術開發應用的機構接觸,研究進一步合作的可能性。[2018/3/21]
*QUIC協議是由google最先提出的,目前已經提交給互聯網工程任務小組,成為了正式的網絡規范,相對于TCP來說QUIC網絡傳輸協議的傳輸速度更快。
沃爾瑪利用區塊鏈分類賬技術 可以將產品追溯回農場:沃爾瑪公司開始利用在線分類賬技術來管理芒果,漿果和幾十種其他產品的供應鏈數據。這個系統是由國際商業機器公司(International Business Machines Corp.)制造,在沃爾瑪測試區塊鏈可追溯性的過程中,沃爾瑪員工可以檢查貨架上或后臺的產品,并用零售商的智能應用程序追溯到農場。在產品召回過的過程中可以追溯不合格食物的來源。[2018/2/7]
IPFS節點啟動之后日志如下圖所示,可以看到IPFS節點監聽了以下網絡地址,其中包括本地的、局域網、廣域網的地址,最后還有/p2p-circuit地址。
問題來了,為什么需要監聽這么多地址?
那是因為IPFS是一個開源項目,為了讓全世界各地的節點連接起來則必須要解決各種網絡情況下節點連接的問題。
意大利經濟部長:對加密貨幣市場持批評態度 目前存在的問題不是區塊鏈技術 而是怎樣應用:周三在能源巨頭Enel組織的一次活動中,意大利經濟部長Pier Carlo Padoan加入了越來越多的政府官員,表示對加密貨幣市場持批評態度。他表示,即使中央銀行關注這一技術,市場泡沫也會“爆炸”造成更多的傷害。Ansa Business的一份報告引用Padoan的話說,這個問題不是嚴格的技術問題,而是它的使用方式的結果。他對與會者表示:“區塊鏈技是一種技術,但是技術是一回事,而你怎樣使用這一技術又是另一回事。 問題不是技術而是行為。”[2018/2/1]
監聽本地地址,這樣本地啟動多個IPFS節點,它們之間可以以該地址進行連接,監聽局域網地址,這樣內網內啟動多個IPFS節點,它們之間可以以該局域網地址相互連接,監聽廣域網地址,這樣公網中啟動多個IPFS節點,它們之間可以以該廣域網地址進行連接。
通過上述方式就解決了大部分網絡情況下的IPFS節點的網絡連接問題:
區塊鏈是基礎技術 本身并沒有稀缺性:區塊鏈是基礎技術,本身并沒有稀缺性,其未來創造價值的廣闊空間是基于區塊鏈發展出來的商業模式,而不是區塊鏈本身。以比特幣為首的各種電子幣,目前都是通過區塊鏈技術發展出來的“文交所產品”。[2018/1/13]
2個節點都在同一主機:通過127.0.0.1地址連接
2個節點在同一個內網內:通過局域網地址連接
2個節點都有公網地址:通過公網地址連接
1個節點在內網,1個節點在公網:內網的節點通過在公網節點的公網地址連接
這里有一個問題,如果2個節點處于兩個不同內網環境,由于存在NAT設備,NAT設備可能是對稱型,對稱型的NAT設備是沒有辦法穿透的,所以IPFS提供了relay的方式解決不同內網環境下節點的連接問題,上面提到的監聽/p2p-circuit地址則是為了解決該問題,對于2個處于不同內網環境不能直接連接的節點,通過配置relay節點中轉從而建立連接。
至此,IPFS解決了不同網絡環境下的節點之間建立連接的問題,下面我們來看一下IPFS是如何構建大規模的分布式節點網絡,將處于全世界的不同地區的各個節點連接起來的。
IPFS網絡構建
IPFS網絡構建的過程可以看作是兩個階段:
▲?Bootstrap階段
IPFS節點在啟動之前需要配置它的Bootstrap節點,配置文件中相關配置如下圖所示,Bootstrap配置中配置了IPFS節點啟動時需要連接的所有種子節點列表,這些節點地址列表信息是默認的,如果需要搭建IPFS私有網絡可以修改成自己的種子節點列表。默認提供的種子節點都是具有公網地址的節點,IPFS節點啟動的時候首先連接該種子節點,后續通過該種子節點去發現IPFS網絡中更多的節點,從而進行連接,也就是DHT組網階段。
▲?DHT組網階段
IPFS節點連接種子節點成功以后則去通過DHT去發現其他節點,關于DHT的詳解可以看這篇文章《Libp2p中DHT和Bitswap詳解》。
發現其他節點之后則嘗試進行連接,連接成功的節點會加入到該節點的節點列表,以便后續可以直接與該節點通信,考慮到全世界的IPFS節點規模很大,不可能每個節點和其他節點保持長連接,所以對每個節點的連接數量做了限制,一般節點連接數量都在1千以下,對于沒有連接的節點需要通信的話,可以通過DHT找到該節點地址,然后連接該節點進行通信,這樣就構成了大規模的分布式節點網絡。
我們可以通過一個示例展示上述過程。下圖是一個常見的網絡拓撲架構,有三個網絡分別連接了Internet,IPFSnode1部署在具有公網ip的服務器上,外部可以直接訪問該節點,IPFSnode2和IPFSnode3都部署在對稱型NAT設備后面,外部不能訪問該節點。
在上面的網絡架構下,處于公網的IPFSnode1作為種子節點,種子節點最先啟動,然后IPFSnode2,node3,node4,node5的種子節點配置成IPFSnode1,分別啟動后首先連接IPFSnode1,連接成功后通過DHT發現其他節點最后分別連接,對于IPFSnode1,它連接的節點地址列表如下圖所示,由于IPFSnode2,node3,node4,node5均處于NAT設備后面,所以IPFSnode1節點列表中這些節點的端口都是NAT設備映射后的端口。
對于IPFSnode3來說,它的節點地址列表中,IPFSnode1的地址是公網地址,由于IPFSnode3和IPFSnode2都處于NAT設備后面,不能直接連接,所以IPFSnode2的地址是relay地址,IPFSnode1節點作為relay節點,IPFSnode3給IPFSnode2發消息時通過IPFSnode1轉發,relay地址格式為:
Relay節點的地址/p2p-circuit/p2p/目標節點id
而IPFSnode3的節點地址列表中,IPFSnode4和IPFSnode5的地址均為局域網地址,這樣就完成了公網節點、處于NAT設備后的局域網節點的組網過程。
總結
以上就是IPFS網絡的組建過程,為了方便描述只是以幾個IPFS節點為例。
實際上IPFS的這種網絡組建方式也能很好地支持超大規模節點的組網,當節點規模很大的時候,設置數十個節點作為種子節點,通過DHT組網就能完成數萬甚至更多節點的組網,此時每個節點的長連接數量保持在數百個,后續節點間通信時,如果還沒有建立連接,可以通過DHT根據節點id查詢該節點的地址信息,然后通過該地址連接該節點最后完成通信過程。
IPFS網絡的這種組建方式也非常值得分布式系統學習和借鑒。
作者簡介
姚文豪來自數據網格實驗室BitXMesh團隊數據平臺架構師
2021年2月,招商銀行“開放許可鏈”平臺全面接入國家級區塊鏈與工業互聯網協同創新新型基礎設施——“星火·鏈網”,成為首家接入的金融機構.
1900/1/1 0:00:00狗狗幣現在可以用作達拉斯獨行俠隊的門票和商品付款方式。 美國國家籃球協會周四證實,達拉斯獨行俠隊已成為首個接受DOGE的主要企業,允許用戶使用BitPay將數字貨幣轉換為法定貨幣.
1900/1/1 0:00:00今天和大家聊一聊近期行業的一些狀況。有讀者在留言中提到,原來AC系的保險類項目COVER其團隊和AC之間似乎發生了什么,導致COVER不再被整合.
1900/1/1 0:00:00GLJResearch分析師GordonJohnson稱,維持對特斯拉“賣出”評級及目標價67美元.
1900/1/1 0:00:00加密交易員需要培養一些基本技能來掌握市場:能夠結合背景評估基本面,進行技術分析以確定進出市場的價格水平,并控制情緒以做出最佳交易決策.
1900/1/1 0:00:00據TheBlock2月24日報道,專注于以太坊區塊鏈網絡擴容的初創公司Optimism已籌集了2500萬美元A輪融資,由AndreessenHorowitz領投.
1900/1/1 0:00:00