什么是數據異常檢測？_PRE:CPD價格

上面的圖像是由一個人工智能繪制的，當時我們讓它為“異常檢測”這個詞創作藝術品。

據《華盛頓郵報》報道，2009年至2010年間，英國有1.7萬名男性報告懷孕。這些英國男性尋求與懷孕相關的護理，如產科檢查和產婦護理服務。然而，這并不是因為現代醫學的突破!有人在國家的醫療系統中輸入了錯誤的醫療代碼。簡單地說，數據記錄得很糟糕，而且沒有質量檢查來發現錯誤!

這很難歸咎于英國的醫療服務。質量，顧名思義，是主觀的。為各種可能的錯誤數據創建質量檢查是一項巨大的壯舉。即使是數據最成熟的公司也很難預料到每一個錯誤。然而，如果有一種方法可以使用AI/ML，這些解決方案可以獨立地從我們的數據集中學習。他們可以發現這樣的錯誤，而不需要我們明確地說，“如果入境的是男性，那么就不要提供孕產護理。”

事實上，有。

CPDA數據分析師都知道這叫做異常檢測。

什么是數據質量檢查?

在我們進入異常檢測的奇跡之前，我們必須了解什么是數據質量檢查(以及它是如何工作的)。

韓國先驅報發文解釋為什么NFT比加密貨幣更具顛覆性:11月7日消息，韓國先驅報發文“為什么NFT比加密貨幣更具顛覆性？”，文章表示，NFT比加密貨幣更具破壞性，因為它有可能應用于眾多領域。Kakao Corp. 的區塊鏈部門Ground X的Kim Won-sang表示，加密貨幣市場仍屬于傳統金融領域，另一方面，NFT具有超越現有金融資產概念的無限潛力。未來資產證券高級經理Lee Young-jae表示：“未來資產證券得出的結論是，包括NFT在內的數字資產具有巨大潛力，數字資產創新代表了激進、不連續和顛覆性創新的前所未有的結合。數字資產已經上升到威脅現有金融公司的水平。在金融市場，我們可以期待像‘NFT 證券’這樣的東西，它可以同時授予會員資格和股東權利。”[2021/11/7 6:36:45]

數據質量檢查指定了數據維度的標準，即數據的完整性、有效性、及時性、唯一性、準確性和一致性。數據要么不符合這些標準，要么滿足這些標準，這揭示了有關其質量的信息(是高質量還是低質量)。您可以在這里了解更多關于數據質量及其重要性的信息。

數據質量規則將指定用戶定義為高質量數據的內容。例如，醫院可能將老年患者定義為年齡超過60歲。一個簡單的數據質量規則可以有以下形式:

規則:老年患者年齡>60歲

聲音 | BM：李嘉圖合約意在用簡單英語告知用戶代碼將會做什么:4月18日晚，BM發推稱，李嘉圖合約（Ricardian contracts）意在用簡單英語告知用戶代碼將會做什么。在大多數情況下，他們不應該添加額外的無法執行的法律條款。安全的錢包應在你簽名之前顯示此說明，否則該應用可能會欺騙你。（注：近日，Block.one在Github發布李嘉圖合約說明（Ricardian Contract Specifications）和模板工具箱（Template Toolkit）[2019/4/18]

實際上，每家醫院可能都有不同的老年患者定義標準。因此，他們可能以不同的方式定義這些規則。通過這種方式，公司可以定義各種規則來識別有問題的數據。然后將這些規則添加到“規則庫”中，并在數據質量監控期間用于識別低質量條目。

一旦您的公司填充了這個規則庫，您將開發一個您希望數據遵守的標準或“常規行為”。不符合這些標準的數據是無效的、不完整的、不準確的。

例如，在我們上面的高級患者規則中，如果一個申請人的年齡是35歲，而用戶將其標記為“高級患者”，則此數據點將無效。

什么是異常檢測?

然而，還有一種方法可以在不需要編寫DQ規則的情況下找到與通常行為不同的數據點。這叫做異常檢測。它使用ML/AI來掃描數據，而不是DQ規則，以發現數據集特有的模式和期望值。一旦它了解了您的數據系統是如何工作的，它就可以自動找到不符合規范(或不符合這些模式)的數據，并標記條目以提醒相關方。不符合這些標準的值被稱為“異常值”。

聲音 | 趙長鵬：我不明白為什么黑客總向幣安發送盜幣:針對推特用戶反饋有黑客在向幣安發送盜幣，趙長鵬發推特稱，剛剛檢查了下，我們已經凍結一部分資金。我不明白黑客為什么總是向幣安發送盜幣。社交媒體很快就會報道出來，這對他們來說是一個高風險的做法。[2019/1/16]

一旦收到關于異常的警報，您將發現關于異常檢測服務為什么將該條目標記為異常的信息。例如，假設一家醫院在2月份記錄了10,000名患者，醫療保健系統收到一個警報，將此條目標記為異常。它可以通過數據集中的上下文解釋:這家醫院通常每月有大約1000名患者。這種突然的跳躍是出乎意料的(或者顯示為傳達此信息的圖形)。

然后，您可以獲取這些信息，并確定它是一個異常數據點還是一個正常數據點。也許是因為新冠肺炎，那家醫院的病人激增了。根據您的響應方式，一些異常檢測算法可以從這種反饋中學習，并在未來更加準確地檢測異常。

在我們上面介紹醫院的例子中，假設所有申請懷孕相關服務的人都被貼上了“PREG”的標簽。如果絕大多數使用這些服務的患者在性別欄中有“F”(女性)，異常檢測就會立即注意到“M”(男性)患者是否接受了“PREG”標簽。你不需要寫規則“PREG必須是F”來防止這種錯誤發生。

金色財經獨家分析 為什么區塊鏈不是萬能的:據了解，云象區塊鏈創始人黃步添在全球區塊鏈高峰論壇上表示：“區塊鏈并不是無所不能。”這其中原因在于區塊鏈技術目前仍面臨“硬連接”的問題，例如，當使用區塊鏈結合實體物品進行防偽時，“硬連接”的問題就會出現，通常人們利用區塊鏈在產品包裝上打上標識，用戶通過標識來查看產品的全部流程。若對方在拆開外包裝后將產品拿出換上假冒產品并恢復包裝便可實現造假，而用戶通過掃描包裝標識時，顯示產品仍是真品。而在其他領域區塊鏈技術也存在“硬連接”的問題，不過在金融、支付等線上的環境中，區塊鏈技術確實有著非常高的優勢。[2018/3/26]

不同類型的異常

不同的業務角色有不同的方法來定義數據中的異常。

營銷團隊可能會收到異常數量的網絡研討會注冊，從一個公司的域名收到比平時更多的入站請求，或者從一個國家收到太多的請求(超過正常)。這些異常會影響他們的工作表現，并被標記為關鍵。

數據工程師可能對兩個不同系統中關于同一實體(如客戶)的沖突信息更感興趣。

數據科學家可能會看到2月份某個隨機周四的平均銷售數據。然而，周四是公共假日，預計銷售額將增長兩倍。這肯定也是一個關鍵的異常!

因此，您可以說異常定義和異常檢測是相當主觀的。需要記住的重要部分是異常檢測服務必須能夠檢測所有形式的異常。在Ataccama，我們喜歡根據異常與數據的接近程度來定義異常。從高層(遠離實際數據，關于數據本身的更一般的信息)到低層(數據列中的異常，逐行，特定值/數據點)，我們可以在三個類別中定義異常:元數據、事務數據和記錄數據。

萊特幣首次突破320美元 其大幅上漲的原因是什么:

萊特幣（LTC）按市值計算的第四大數字貨幣今年已經走高，周二萊特幣的價格首次突破320美元，大漲了91％。

萊特幣為什么上升？似乎沒有一個事件發生——盡管最近圍繞加密貨幣的興趣激增，可能已經促使一些投資者變得更有冒險精神。一些投資者可能還認為比特幣價格過高，正在尋求其他投資機會。與此同時，萊特幣今年早些時候才變得更容易購買，Coinbase在其上市中加入了萊特幣。[2017/12/13]

元數據異常

元數據是使用度量來描述實際底層數據的數據。例如，數據質量元數據指的是關于數據資源(數據庫、數據湖等)質量的信息。元數據允許您以對用例有獨特意義的方式組織和理解數據，同時保持數據的一致性和準確性。

這一級別的異常處理“一般”數據，是最接近數據本身的異常。這些是關于數據的異常，而不是數據中的異常(然而，它們仍然可以表示數據中的問題)。當數據質量出現意外下降時，就會出現這種情況;當一個數據集/點通常以一種方式標記，但已經以另一種方式標記;或者在提取關于您所存儲的數據的數據時，缺少一定數量的記錄、記錄太少或記錄太多，以及發生任何其他意外情況。

事務性數據異常

從元數據轉向更接近特定數據的地方，我們到達了中間層——事務性數據。我們稱之為中間層，因為您正在處理來自實際數據的值，但通過聚合的鏡頭(即，每五天或每五分鐘一次)。交易數據通常包含某種形式的貨幣交易，因為分析此類數據的能力非常有用。例如，如果您有每五分鐘的銷售匯總，您可以使用它來確定最繁忙的時間，是否值得在晚上8點后營業等等。

在這一水平上出現的異常情況可能是在一年中銷售較慢的某周出現了意外的銷售增長，購物假期的銷售額與一周中正常日子的銷售額相似，或者一個分支機構的業績在繁忙的月份下降得異常低，等等。

記錄級別的異常

在記錄級別，異常檢測標記數據集中可疑的特定值。如果其中一個數據點缺失、不完整、不一致或不正確，則可以將這些值標記為異常。

我們的介紹是記錄級異常的一個很好的例子。數據集中的一個值(性別)是意外的，并且與系統中的其他值不協調。這只是一行信息，是包含患者年齡、既往病史、身高、體重等更大信息集的一部分。

記錄級別的異常檢測逐行探索每個表和列中的數據集，尋找任何不一致之處。它可以揭示數據收集、聚合或處理中的問題。

異常檢測類型

現在我們了解了不同類型的異常，我們可以進入不同的方法來檢測它們。一種方法側重于將時間作為數據的主要上下文，而另一種方法側重于在正常行為的上下文中發現異常。這兩種類型的異常檢測被稱為時間相關和時間無關。

時變異常檢測

依賴于時間的數據會隨著時間的推移而演變(考慮一下我們的事務性數據示例)，因此了解何時捕獲值、何時輸入值、多個條目以何種順序到達等非常重要。通常，用戶將這些數據分組(聚合)在一起(例如，每小時或每天)，并在組級別上尋找異常或趨勢，根據上下文發現異常值。

例如，當您有每日數據(即每天記錄一次)時，您可以預期一些季節性。換句話說，周一的期望值可能與周二不同。因此，不同的值在不同的日子可能是異常的。此外，這些數據經常在較長時期內發生變化。這可以用數據的趨勢或數據的漂移變化來表示。所有這些模式都需要時變異常檢測算法來捕獲。

非時變異常檢測

任何沒有時間維度的數據都可以被認為是“時間無關的”。換句話說，數據是什么時候創建的，輸入到系統中，數據到達的順序等等都不重要。只有實際值才重要。因此，算法只需要了解期望值是什么，或者更好的是，將它們放入“正態聚類”中。

這些異常與主數據(相對于事務數據)更相關:客戶記錄、產品數據、參考數據和其他“靜態數據”。

結論

總之，異常檢測算法允許您發現數據中不需要或意外的值，而無需指定規則和標準。它對您的數據集進行快照，并通過將新數據與過去關于相同或類似數據集發現的模式進行比較來識別異常。

至于對異常檢測工具可以做什么的期望:

無論這些異常發生在較高的級別(如元數據)還是接近實際數據本身(如記錄級別異常)，您的異常檢測服務都需要能夠發現它們。

要應用于所有類型的數據，既需要時變異常檢測，也需要時變異常檢測。

您的服務還必須能夠處理不同的數據類型，易于使用和適應，并在將值標記為異常時提供可用的解釋。

異常檢測領域持續增長和發展。AI/ML正在數據管理領域得到更廣泛的采用和實現。我們可以預期異常檢測將變得越來越主動，而不是被動。這些工具將能夠在數據進入下游系統之前發現有問題的數據，從而造成損害。

異常檢測很有價值，因為它通常會揭示數據之外的潛在問題，例如物聯網設備中的缺陷機器、網絡中的黑客企圖、數據合并中的基礎設施故障或不準確的醫療檢查。這些問題通常很難預測，因此很難編寫DQ規則。因此，基于AI/ml的異常檢測是發現這些異常的最佳方法。

Tags：PREREGCPDPRE價格PRE幣REG價格REG幣CPD幣CPD價格

聚幣