一張照片生成 3D 頭像！蘋果新模型擊敗 StyleGAN2，表情光線都能調_ACE:ELIT

來源：量子位

隨便一張照片，就可生成3D頭像。而且光線真實，任意角度可調。

這是蘋果的最新黑科技生成框架FaceLit。

正如其名，FaceLit的特色就是可以將人臉“點亮”。

“自帶光環”的FaceLit在易用性上也不輸同類，甚至更勝一籌——

進行3D建模時，需要的照片素材無需專門選擇角度，數量上也只需一張。

甚至對表情、發型、眼鏡等元素進行調節時，也不需要額外素材。

而傳統的頭像合成工具或者需要多張圖片才能工作，或者對照片角度有刁鉆的要求。

正是憑借這一創新，FaceLit獲得了3.5的FID評分，較同類產品直接高出了25%。

馬斯克用一張圖拜年：水墨老虎搭\"中國紅\":1月31日，虎年新春來臨之際，美國特斯拉首席執行官埃隆·馬斯克在微博向中國網友送出新春祝福。31日下午，馬斯克在微博及社交平臺推特上同時發布一張圖片，圖中4只水墨老虎被點綴喜慶的“中國紅”，活靈活現。圖片中央則用英文寫著“農歷新年快樂”（Happy Chinese new year）。在推特留言板中，外國網友齊刷刷回復：“虎年快樂”“農歷新年快樂！”（海外網）[2022/1/31 9:24:45]

改進式EG3D合成人像，光線信息單獨處理

下面就來看一下FaceLit具體是如何實現頭像合成的。

總的來說，蘋果采用了將人物本體與光線分別處理再進行疊加的策略。

早期的三維人像合成工具在轉換過程中可能產生形變。

而爆火的NeRF通過將場景拆分成具體因素，提高了3D圖像合成效果，改善了這一問題。

但蘋果團隊認為，在可控性方面，NeRF仍存有不足之處。

動態 | 第一張基于區塊鏈的數字營業執照、第一張醫保電子憑證在濟南誕生:當前，濟南不斷推進“一次辦成”改革提質增效，打造“在泉城 全辦成”品牌，為人民群眾帶來更好的政務服務體驗。濟南高新區把區塊鏈作為核心技術自主創新重要突破口,構建整體性數字政府，持續推進流程再造，在全國首創“政務服務智能自動化流水線”模式，創新打造“區塊鏈+政務”服務系統，創造了“企業開辦”僅需47分鐘的全國最快速度，比承諾時限壓縮75%，中國第一張基于區塊鏈的數字營業執照、第一張醫保電子憑證在濟南誕生。高新區管委會辦公室陳波介紹，“區塊鏈用共識機制，密鑰算法等，保證上鏈數據傳輸、傳遞、使用的安全和可信，上鏈數據使用，必須由數據所有者授權，真正實現了“我的資產我做主”。高新區“區塊鏈+”智能政務服務模式，開啟了全省乃至全國在政務服務領域應用區塊鏈技術的先河，達到了國內領先水平。（舜網）[2019/12/24]

于是，在EG3D框架的基礎上，蘋果創造了FaceLit的合成模型。

動態 | 招商基金開具基金業第一張區塊鏈電子發票:據新浪財經報道，近日，招商基金在為客戶辦理基金購買業務后，成功為客戶開出了基金行業首張區塊鏈電子發票。這標志著，深圳市稅務局區塊鏈電子發票試點范圍由零售、銀行、餐飲、物業、游戲行業擴大至基金行業。招商基金是首批通過招商銀行代理接入服務接入深圳市區塊鏈電子發票平臺的金融機構，也是全國首個開具區塊鏈電子發票的公募基金公司。[2018/12/29]

EG3D通過三平面解碼器，賦予了二維卷積神經網絡生成渲染3D模型所需深度參數的能力。

蘋果團隊對標準的EG3D訓練方式進行了擴展，并將之轉化成了FaceLit框架。

△FaceLit與傳統EG3D渲染流程對比圖

標準的ED3G使用相機位置p參數作為基本輸入參數。

動態 | Reddit用戶發起“比特幣挑戰” 一張圖片隱藏310枚BTC:在國外論壇Reddit上，一名匿名用戶于10月3日發起了一個尋找比特幣的帖子，帖子名為“比特幣挑戰（Bitcoin Challenge）”。該挑戰為一張帶有密碼的圖片。用戶宣稱，該圖片中隱藏著共計約310枚BTC（約合210萬美金），誰最先找到密鑰，就能獲得這些比特幣。 該圖下方留下的文字顯示，該用戶發起這項挑戰只是作為娛樂。據悉，在這幅圖片中，這位匿名用戶留下了4個比特幣地址，這些地址的余額分別為0.1BTC、0.2BTC、0.31BTC以及310BTC。其中310BTC地址為：39uAUwEFDi5bBbdBm5ViD8sxDBBrz7SUP4。

截至目前，余額為0.1BTC的地址的密鑰已經被找到。10月4號，一位名叫\"Lustre\"的人成功破解了這份畫中的0.1BTC地址，并轉走了其中的幣。

此前消息，今年5月，網名為u/cryptogreetings的網友發布了一張神秘圖片，為一道價值1 BTC的謎題。圖片發布之后，尚未有人能夠破解謎題。[2018/10/9]

在建立GAN2操作時，蘋果在EG3D的基礎上加入了光照參數l。

獨家 | 一張圖看懂ETF提案對數字貨幣市場的影響:2017年至今，ETF提案與BTC價格聯動，金色內參團隊發現：每一次向SEC提交比特幣ETF申請，短期內都會推動比特幣價格的上漲；每一次SEC拒絕比特幣ETF的申請，絕大多數情況下，都會導致比特幣價格的下跌。欲查看全部內參內容，點擊原文鏈接。[2018/8/24]

不同p(左→右)與l(上→下)值下的初始圖像

蘋果選擇了經過球形諧波方式簡化后的Phong反射模型作為處理光源的物理基礎。

光照參數l就是在這一基礎之上獨立處理得到的。

在自然界中，反射包括鏡面反射和漫反射兩種形式。

△不同鏡面反射率條件下的效果對比

因此，蘋果在ED3G模型中加入了鏡面反射解碼器和漫反射解碼器。

它們替代了可以直接得到顏色c、密度σ數據的三平面解碼器。

△反射解碼器流程示意圖

通過對GAN2產生的數據進行再次解碼，可以得到鏡面反射率ks和漫反射率kd。

然后再通過兩種反射著色器得到顏色c，密度σ則由漫反射解碼器計算得出。

最終，FaceLit以與三平面解碼器相同的參數渲染圖像，并進行分辨率優化。

有的放矢設計訓練策略，數據無需人工標注

生成框架已有，那就來到訓練階段，其特點在于訓練過程中無需人工標注。

方法論層面，在訓練時，團隊使用了FFHQ、MetFaces和CelebA-HQ數據集。

對于不同的數據集，蘋果使用了不同的訓練方式。

FFHQ包含了7萬余條人臉數據，其訓練分為兩個階段：先在較低的分辨率下訓練，再提高分辨率再次進行。

對于包含2萬數據量的CelebA-HQ，訓練不需要分階段進行。

而對于更小的MetFAces，則只需要通過ADA擴容的方式，使用預訓練的FFHQ進行優化調整即可。

定性地看，訓練結果在機位、光源和反射高光等方面都有出色的表現，圖中的細節也有所增強。

△FaceLit生成的頭像唇齒部位的細節進行了明顯重構

定量結果同樣表明，FaceLit在FID、KID等指標上均優于包括標準EG3D在內的傳統生成方式。

在使用FFHQ作為訓練集的條件下，各生成方式的表現如下表，不難看出FaceLit擁有最低的FID和KID值。

而相比于英偉達的StyleGAN2，FaceLit的表現依舊出色：

光線準確度方面，FaceLit在使用三種不同訓練數據集的情況下，與人工設定的標準值平均均方誤差均低于0.01。

網友：人們低估了蘋果AI

消息發出后，便有網友認為“這是對更重磅產品的預熱”。

更有網友直接推測，FaceLit的出現標示著人工智能將進軍AR和VR領域，蘋果的混合現實將最終實現商用……

也有網友認為，FaceLit不會商用，否則蘋果才不會以論文的形式發表。

針對FaceLit本身，也有網友表示，除了LLM，其他都是浮云，他們如果不開發LLM，就沒有未來。

但這位網友同時也說，蘋果可能已經在做了。

相應的，也有網友稱人們“低估了蘋果在AI領域的深度”。

所以各位網友對蘋果在AI領域還有什么樣的期待呢？

論文地址：https://arxiv.org/abs/2303.15437

GitHub地址：https://github.com/apple/ml-facelit

參考鏈接：https://twitter.com/AlphaSignalAI/status/1648361623004774400

Tags：ACEFACECELELITxDRACE幣FACE價格SPACELINKELIT幣

加密貨幣