科普 | 聯邦學習這件小事_人工智能:區塊鏈

背?景

計算機學院的學生小A意圖使用大數據及人工智能的相關技術完成自己的一個課題《大學生男生生活費消費行為的偏好分析》，然而苦于數據量不夠，便寄希望于身邊的朋友以及學校的廣大男性同學，原本以為是一件輕而易舉的事，然而…

由于個人隱私易泄露，數據交易難定價，合作者激勵制度不健全，以及惡意提供無用或者虛假數據等問題，收集真實且有價值的的數據遠比想象中難。

而近兩年來，“聯邦學習”被學術界和工業界經常提及，聯邦學習究竟是什么，為何能解決以上問題，我們從它的前世今生開始慢慢揭開面紗。

▲?人工智能是什么

人工智能是人為制造出來的智能，可以讓機器“智能”地完成一些通常認為只能由人來完成的簡單工作。其研究目的是促使智能機器會“聽”、會“看”、會“說”、會“思考”、會“學習”、會“行動”。

民盟中央建議加速元宇宙科普和立法:3月4日消息，民盟中央已起草了《關于“元宇宙”技術發展的提案》，并將提交全國政協十三屆五次會議。在提案中，民盟中央建議，在科普層面需加速知識傳播，法律層面則需加快立法步伐。民盟中央擬提交的提案指出，目前，在新興網絡層面，相關政策法規相對缺失。“元宇宙”在未來將會帶動形成全新的網絡形態，當遇到突發輿情，全虛擬的環境、場景將更難進行源頭追蹤、問題疏導。因此建議應盡早加快立法研究，盡快形成與技術、市場發展相適應的治理模式和法律基礎，全面提升我國社會治理的水平。建議組織相關部門，針對“元宇宙”相關需求、風險進行立法研究，并盡快發布。此前消息，民進中央擬向全國政協十三屆五次會議提交《關于積極穩妥推進元宇宙技術和產業發展的提案》。建議推進元宇宙技術產業發展，建立相關監管治理體系。（華夏時報）[2022/3/4 13:37:12]

自1956年人工智能的概念被提出至今，有了飛速的發展。從早期的電子游戲AI等，到現階段的智能家居、圍棋新星阿爾法狗等，到未來的無人駕駛工具以及毀天滅地的終結者都是人工智能應用的產物。

國務院：推進科普與區塊鏈技術深度融合:為貫徹落實黨中央、國務院關于科普和科學素質建設的重要部署，依據《中華人民共和國科學技術進步法》、《中華人民共和國科學技術普及法》制定《全民科學素質行動規劃綱要（2021－2035年）》，其中要求實施智慧科普建設工程。推進科普與區塊鏈等技術深度融合，強化需求感知、用戶分層、情景應用理念，推動傳播方式、組織動員、運營服務等創新升級，加強“科普中國”建設，強化科普信息落地應用，與智慧教育、智慧城市、智慧社區等深度融合。（新華社）[2021/7/10 0:40:52]

人工智能已經改變了我們的生活，從遙不可及的實驗室科技轉變成為我們身邊隨處可見的工具，甚至改變世界的重要伙伴。人工智能中的“學習”能力是人工智能發展的核心，方法也層出不窮，機器學習、深度學習、強化學習……可以統稱為機器學習。發展至今，我們也逐漸發現了制約機器學習和人工智能進一步發展的瓶頸。

▲?機器學習的瓶頸

1.算法瓶頸

TRON數字錢包科普資料《波場錢包的現在過去與未來》已上線:據最新消息顯示，由TokenPocket聯合波場TRON官方，以及 TokenPocket 社區志愿者共同撰寫的《波場錢包的現在過去與未來》已正式上線。《波場錢包的現在過去與未來》又稱為波場錢包小白書，詳細介紹了當前TRON錢包與TRON生態密切結合的實例，是目前市面上最為詳細的TRON數字錢包科普資料。波場錢包作為波場公鏈生態中極為重要的入口，是波場生態的重要構成要素。波場錢包從一開始只提供權限管理、轉賬收款、節點投票等基礎功能，到如今不僅可以為用戶提供法幣交易、閃兌和去中心化交易所等方便快捷的交易服務，還能讓用戶直接在錢包上體驗波場上DApp，挖礦、DeFi、Staking等資產增值服務。詳情見原文鏈接。[2020/8/20]

目前的機器學習存在著魯棒性較差以及算法的不可解釋性兩大問題。

雖然人工智能領域依靠深度學習在圖像識別上取得了巨大的突破，然而在加入“噪聲”后將圖片內容完全識別錯誤的“人工智障”行為依舊屢見不鮮；其次，在引入神經網絡的機器學習中，“黑盒子”狀態的算法雖然提升了算法的效果，但因缺乏嚴格的數學理論證明以及算法的解釋性，從而一直為學業界的人士所詬病。

聲音 | 中科院姚建銓：要加快推進區塊鏈與物聯網融合的科普 培訓:據新華網消息，日前，在區塊鏈與物聯網融合發展峰會上，中國科學院院士姚建銓說，關注區塊鏈技術里面的大數據，跟區塊鏈技術結合起來進行測量和檢測，能更好地提升激光清洗技術。姚建銓建議，無錫今后要加快推進區塊鏈與物聯網融合的科普、培訓，正確引導廣大人民群眾對技術的認知；同時，建立專業、權威，但又普適、成套的理論體系和標準，以此切入區塊鏈的實際應用。[2018/9/18]

2.數據瓶頸

2.1?數據需求量大

計算能力和計算成本是首當其沖需解決的問題，而一個好的機器學習算法背后，是大量數據多輪次的重復性計算的結果，需要大量算力成本。

2.2?數據供給稀缺

云計算、AI技術發展至今，我們發現制約AI應用落地的是沒有足夠的數據支撐算法的訓練和驗證。巧婦難為無米之炊，缺少數據的機器學習算法猶如空油的F1賽車，無法施展它最強的性能。

財政部副部長朱光耀：數字經濟還處在發展的過程中，要以科普、推動的態度來推進數字經濟發展:今日，在中國發展高層論壇2018年會上，財政部副部長朱光耀表示：“數字經濟還處在發展的過程中，要以科普、推動的態度來推進數字經濟發展。也要關注數字經濟的其他影響，包括稅收征管、反洗錢監管措施等要跟上。”[2018/3/25]

聯邦學習的前世今生

▲?數據隱私問題

數據是機器學習的原油，伴隨機器學習的興起和大數據的浪潮，數據的收集成為業內的產業之一。因為產業的暴利和法制的不健全，用戶的信息被大肆的爬取、收集、販賣，導致很長一段時間我們的生活不堪其擾。

APP上的信息爬取，電話與身份信息泄露讓我們總是能接收到各種廣告推銷電話。更有甚者，“裸貸”風波和Facebook用戶信息泄露，讓大眾在信息化時代對于個人信息安全更加謹慎小心。2018年的歐洲隱私和數據保護法案GDPR的出臺雖然一定程度上保障信息隱私安全并規范了數據收集方式，但無形中加劇了優質數據整合的難度，對機器學習與人工智能領域都是一次重大的挑戰。

▲?聯邦學習的前世

伴隨著以上涉及到的問題，Google公司早在2016年提出聯邦學習的概念，這一概念原本用于解決安卓手機終端用戶在本地更新模型的問題，具體如下：

Step1.?手機下載現有模型；

Step2.?用手機的本地數據來訓練模型；

Step3.?訓練好后，迭代更新，并將更新的額內容加密上傳到云端；?

Step4.?與其它用戶的更新進行整合，作為對共享模型的改進；

Step5.?該過程不斷重復，改進后的共享模型也會不斷地被下載到本地。

值得注意的是，在執行的過程中有兩個特別的點：?

每個設備端在更新己方模型時都是依賴于自己數據的個性化更新；該場景中的共享模型可能不是完整的機器學習模型/神經網絡模型，可能是經過壓縮的模型。▲?聯邦學習的今生

聯邦學習的正式誕生是在2017年，Google的AI?blog中提出的一種分布式機器學習框架，目標是在保證數據隱私安全及合法合規的基礎上，實現多方共同建模，并提升AI模型的效果。當完成訓練后，根據聯邦學習特有的激勵機制，會給予所有的參與方一定的激勵作為共同參與訓練的獎勵。隨后以楊強教授為首的團隊進一步推進聯邦學習框架，直至我們現在所看的樣子。

聯邦學習的分類

▲?聯邦學習的精髓

國際人工智能聯合會主席楊強教授曾經舉過一個聯邦學習的例子：

我們每個人的大腦里都有數據，當兩個人在一起做作業或者一起寫書的時候，我們并沒有把兩個腦袋物理性合在一起，而是兩個人用語言交流。所以我們寫書的時候，一個人寫一部分，通過語言的交流最后把合作的文章或者書寫出來。

我們交流的是參數，在交流參數的過程中有沒有辦法保護我們大腦里的隱私呢？是有辦法的，這個辦法是讓不同的機構互相之間傳遞加密后的參數，以建立共享的模型，數據可以不出本地。

故而，在本地數據不出庫的情況下，通過對中間加密數據的流通與處理來完成多方對共享模型的機器學習訓練，便是聯邦學習的精髓所在。

▲?橫向聯邦學習

橫向聯邦學習是指，在不同數據集之間數據特征重疊較多而用戶重疊較少的情況下，按照用戶維度對數據集進行切分，并取出雙方數據特征相同而用戶不完全相同的那部分數據進行訓練。

橫向聯邦學習的本質是樣本的聯合，適用于參與者間業態相同但觸達客戶不同，即特征重疊多、用戶重疊少時的場景，比如不同地區的銀行間，他們的業務相似，但用戶不同。

▲?縱向聯邦學習

縱向聯邦學習是指，在不同數據集之間用戶重疊較多而數據特征重疊較少的情況下，?按照數據特征維度對數據集進行切分，并取出雙方針對相同用戶而數據特征不完全相同的那部分數據進行訓練。

縱向聯邦學習的本質是特征的聯合，適用于用戶重疊多，特征重疊少的場景，比如同一地區的商超和銀行，他們觸達的用戶都為該地區的居民，但業務不同。

▲?遷移聯邦學習

聯邦遷移學習是指，在多個數據集的用戶與數據特征重疊都較少的情況下，不對數據進行切分，而是利用遷移學習來克服數據或標簽不足的情況。

當參與者間特征和樣本重疊都很少時可以考慮使用聯邦遷移學習，如不同地區的銀行和商場間的聯合。主要適用于以深度神經網絡為基模型的場景

小結

本次帶大家走進“聯邦學習的大門”，簡要介紹了聯邦學習的「前世今生」及「不同分類」，下一篇將會詳細講解「不同分類下的聯邦學習」，敬請期待！

作者簡介

嚴楊

來自數據網格實驗室BitXMesh團隊?PirvAIの修道者

Tags：人工智能區塊鏈元宇宙STE人工智能幣有哪些區塊鏈包括哪些方面元宇宙非法集資被抓Fastest Alerts

抹茶交易所