科普：聯邦學習的分類和應用場景_區塊鏈:STE

前言

上一篇我們講述了人工智能，機器學習與聯邦學習的關系。

這篇我們將繼續探索聯邦學習方法的分類。聯邦學習方法被分為橫向聯邦學習、縱向聯邦學習和遷移聯邦學習三類，適用于解決不同的實際問題。

橫向聯邦學習

在兩個數據集的用戶特征重疊較多而用戶重疊較少的情況下，把數據集按照用戶維度切分，并取出雙方用戶特征相同而用戶不完全相同的那部分數據進行訓練。這種方法叫做橫向聯邦學習。

▲?應用場景

橫向聯邦學習的本質是樣本的聯合，適用于參與者間業態相同但觸達客戶不同，即特征重疊多，用戶重疊少時的場景，比如不同地區的銀行間，他們的業務相似，但用戶不同。

民盟中央建議加速元宇宙科普和立法:3月4日消息，民盟中央已起草了《關于“元宇宙”技術發展的提案》，并將提交全國政協十三屆五次會議。在提案中，民盟中央建議，在科普層面需加速知識傳播，法律層面則需加快立法步伐。民盟中央擬提交的提案指出，目前，在新興網絡層面，相關政策法規相對缺失。“元宇宙”在未來將會帶動形成全新的網絡形態，當遇到突發輿情，全虛擬的環境、場景將更難進行源頭追蹤、問題疏導。因此建議應盡早加快立法研究，盡快形成與技術、市場發展相適應的治理模式和法律基礎，全面提升我國社會治理的水平。建議組織相關部門，針對“元宇宙”相關需求、風險進行立法研究，并盡快發布。此前消息，民進中央擬向全國政協十三屆五次會議提交《關于積極穩妥推進元宇宙技術和產業發展的提案》。建議推進元宇宙技術產業發展，建立相關監管治理體系。（華夏時報）[2022/3/4 13:37:12]

比如，有兩家不同地區銀行?—?上海與杭州兩地的兩家銀行，它們的用戶群體分別來自上海與杭州的居住人口，用戶的交集相對較小。由于銀行間的業務相似，記錄的用戶特征大概率是相同的。因此，橫向聯邦學習可以被考慮用來構建聯合模型。

TRON數字錢包科普資料《波場錢包的現在過去與未來》已上線:據最新消息顯示，由TokenPocket聯合波場TRON官方，以及 TokenPocket 社區志愿者共同撰寫的《波場錢包的現在過去與未來》已正式上線。《波場錢包的現在過去與未來》又稱為波場錢包小白書，詳細介紹了當前TRON錢包與TRON生態密切結合的實例，是目前市面上最為詳細的TRON數字錢包科普資料。波場錢包作為波場公鏈生態中極為重要的入口，是波場生態的重要構成要素。波場錢包從一開始只提供權限管理、轉賬收款、節點投票等基礎功能，到如今不僅可以為用戶提供法幣交易、閃兌和去中心化交易所等方便快捷的交易服務，還能讓用戶直接在錢包上體驗波場上DApp，挖礦、DeFi、Staking等資產增值服務。詳情見原文鏈接。[2020/8/20]

于2017年，Google提出了一個針對安卓手機模型更新的數據聯合建模方案：在單個用戶使用安卓手機時，不斷在本地更新模型參數并將參數上傳到安卓云上，從而使特征維度相同的各數據擁有方建立聯合模型的一種聯邦學習方案。

現場 | 火幣中國推出數字經濟及區塊鏈產業科普新書:金色財經現場報道，12月6日，由海南省工業和信息化廳主辦，南南合作金融中心協辦，海南生態軟件園、火幣中國承辦的“海南自貿港數字經濟和區塊鏈國際合作論壇”在海口舉行，這是全球首次區塊鏈部長級論壇。

在本次論壇上，火幣中國舉行了“數字經濟及區塊鏈產業科普系列新書發布”儀式，希望通過教材、專業教育、培訓等多種方式，幫助從業者、高校、研究機構深入了解區塊鏈，從而建立起區塊鏈全局性知識模型，真正推動區塊鏈應用落地。火幣中國CEO袁煜明介紹，將聯合機械工業出版社面向普通高等教育推出《區塊鏈導論》、《區塊鏈系統設計與應用》和《區塊鏈新商業模式分析》系列教材，這是國內最早推動的區塊鏈教材之一；火幣中國還積極參與數字經濟的研究，由中信出版社出版的新書《讀懂Libra》已經上市；由火幣中國負責編寫的區塊鏈技術科普讀物《區塊鏈技術進階指南》將于12月面世；首本行業內最全的區塊鏈應用案例集《區塊鏈產業應用100例》在本次論壇進行了首次刊印。[2019/12/6]

▲?學習過程

科普時報：區塊鏈與云計算長期發展目標不謀而合:據《科普時報》今日報道，區塊鏈與云計算兩項技術的結合，從宏觀上來說，一方面，利用云計算已有的基礎服務設施或根據實際需求做相應改變，實現開發應用流程加速，滿足未來區塊鏈生態系統中初創企業、學術機構、開源機構、聯盟和金融等機構對區塊鏈應用的需求。另一方面，對于云計算來說，“可信、可靠、可控制”被認為是云計算發展必須要翻越的“三座山”，而區塊鏈技術以去中心化、匿名性，以及數據不可篡改為主要特征，與云計算長期發展目標不謀而合。[2018/5/4]

Step1.參與方各自從協調方上下載最新模型；

Step2.每個參與方利用本地數據訓練模型，加密梯度上傳給協調方，協調方聚合各用戶的梯度以更新模型參數；

Step3.協調方返回更新后的模型給各參與方；

Step4.各參與方更新各自模型。

縱向聯邦學習

在兩個數據集的用戶重疊較多而用戶特征重疊較少的情況下，把數據集按照特征維度切分，并取出雙方用戶相同而用戶特征不完全相同的那部分數據進行訓練。這種方法叫做縱向聯邦學習。

▲?適用場景

縱向聯邦學習的本質是特征的聯合，適用于用戶重疊多，特征重疊少的場景，比如同一地區的商超和銀行，他們觸達的用戶都為該地區的居民，但業務不同。

比如，有兩個不同機構，一家是某地的銀行，另一家是同一個地方的電商。它們的用戶群體很有可能包含該地的大部分居民，用戶的交集可能較大。由于銀行記錄的都是用戶的收支行為與信用評級，而電商則保有用戶的瀏覽與購買歷史，因此它們的用戶特征交集較小。縱向聯邦學習就是將這些不同特征在加密的狀態下加以聚合，以增強模型能力的聯邦學習。

▲?學習過程

介紹一種簡單通用的縱向聯邦學習的建模學習過程，加密方式也以半同態加密的PallierEncryption為主。

訓練前：

先采用加密文本對齊的技術手段，在系統內篩選出不同企業之間的共同用戶。

訓練時：

Step1.協調方C向企業A與B發送公鑰，用來加密所需傳輸的數據；

Step2.A和B分別計算和自己相關特征的中間結果，并加密完后進行交互，用來求解各自的梯度結果和損失結果；

Step3.A和B分別計算各自加密后的梯度并添加掩碼后發送給C，同時B計算加密后的損失先發送給C；

Step4.C解密梯度和損失后回傳給A和B，A、B去除掩碼并更新模型。

遷移聯邦學習

在兩個數據集的用戶與用戶特征重疊都較少的情況下，不對數據進行切分，而可以利用遷移學習來克服數據或標簽不足的情況。這種方法叫做聯邦遷移學習。

▲?適用場景

當參與者間特征和樣本重疊都很少時可以考慮使用聯邦遷移學習，如不同地區的銀行和商超間的聯合。主要適用于以深度神經網絡為基模型的場景。

遷移學習的核心是，找到源領域和目標領域之間的相似性。舉一個楊強教授經常舉的例子來說明：我們都知道在中國大陸開車時，駕駛員坐在左邊，靠馬路右側行駛。這是基本的規則。然而，如果在英國、香港等地區開車，駕駛員是坐在右邊，需要靠馬路左側行駛。那么，如果我們從中國大陸到了香港，應該如何快速地適應他們的開車方式呢？訣竅就是找到這里的不變量：不論在哪個地區，駕駛員都是緊靠馬路中間。這就是我們這個開車問題中的不變量。找到相似性?(不變量)，是進行遷移學習的核心。

比如有兩個不同機構，一家是位于中國的銀行，另一家是位于美國的電商。由于受到地域限制，這兩家機構的用戶群體交集很小。同時，由于機構類型的不同，二者的數據特征也只有小部分重合。在這種情況下，要想進行有效的聯邦學習，就必須引入遷移學習，來解決單邊數據規模小和標簽樣本少的問題，從而提升模型的效果。

▲?學習過程

聯邦遷移學習的步驟與縱向聯邦學習相似，只是中間傳遞結果不同。

以上是常見的幾種聯邦學習類型，聯邦學習這件“小事”能用在什么場景中，帶來怎樣的價值，會在下一篇文章中詳細介紹。也歡迎各位與我們一起對以上三種類型的聯邦學習進行更深一步的討論，添加小助手加入技術交流群。

作者簡介

嚴楊

來自數據網格實驗室BitXMesh團隊?PirvAIの修道者

Tags：區塊鏈TEPSTEPSTE玩區塊鏈的都是什么人群TEP幣stepn幣總量Super Master Node

SOL