ACM SIGKDD（國際數(shù)據(jù)挖掘與知識發(fā)現(xiàn)大會，簡稱KDD）是數(shù)據(jù)挖掘領(lǐng)域的頂級國際學(xué)術(shù)會議，由美國計算機學(xué)會（ACM）數(shù)據(jù)挖掘及知識發(fā)現(xiàn)專委會（SIGKDD）主辦，被中國計算機學(xué)會（CCF）推薦為A類國際學(xué)術(shù)會議。自1995年以來，KDD已連續(xù)成功舉辦了26屆，應(yīng)運而生的KDD Cup更是數(shù)據(jù)挖掘領(lǐng)域最有影響力的賽事。


8月14日-18日，KDD 2021盛會于新加坡拉開帷幕。深蘭科技DeepBlueAI（DBAI）團隊積極參與今年賽事，并成為賽事焦點，成績表現(xiàn)出色，在Multi-dataset Time Series Anomaly Detection競賽中獲得冠軍。值得一提的是，前7名還包括華為諾亞方舟實驗室、阿里達(dá)摩院、海康威視、日立、三菱電機、日本產(chǎn)業(yè)技術(shù)綜合研究所和柏林洪堡大學(xué)等知名公司和高校的隊伍。比賽競爭非常激烈，吸引了超過500支隊伍積極參與，并接收了將近2000次有效結(jié)果提交。



賽事介紹

Multi-dataset Time Series Anomaly Detection

Multi-dataset Time Series Anomaly Detection競賽提供了250條時間序列，并且每條時間序列都包括一個異常點。主辦方希望選手們利用無監(jiān)督或自監(jiān)督的方法找到這些異常點的位置。

時序異常檢測旨在檢測數(shù)據(jù)中的意外或罕見事件項。它常用于許多工業(yè)應(yīng)用，如運維、行業(yè)監(jiān)控、產(chǎn)品價格在線監(jiān)控等。

團隊成績



深蘭團隊名列首位


數(shù)據(jù)分析

這些時間序列中異常點的種類繁多，可能是點異常，也可能是群體異常，如下圖。單一方法很難找到所有文件的異常點，因此需要一個適用的框架或者好的集成方法。



圖表 1不同異常類型


競賽方案

針對這一競賽，DeepBlueAI團隊自主開發(fā)了一套高泛化性和靈活性的異常檢測框架TsaDetect。具體來說，每個時序會經(jīng)過周期分析，多模型預(yù)測，評估和集成三個模塊。




圖表 2 TsaDetect 時序異常檢測框架

首先，分析輸入時間序列以提取基本信息和周期，這對于需要窗口大小的算法很重要。然后，時間序列信號通過不同的模型進行處理。所有模型都會生成時間序列殘差，這些殘差被傳遞到評估和集成模塊中。這些殘差被標(biāo)準(zhǔn)化為可比較并加權(quán)求和以產(chǎn)生最終的殘差。這一步中的權(quán)重由置信度決定，它表示模型在檢測該信號中的異常時的置信度。最后，異常位置由這個最終的殘差決定。


在檢測模型的選擇和開發(fā)上，主要專注于快速和穩(wěn)定。我們最終采用了基于傅里葉變換的方法，matrix profile方法，以及改進的基于回歸的方法。每種方法都有自己的適用的異常類型，通過上述的框架整合起來，就得到了一個魯棒性，泛化性更強的檢測器。


總  結(jié)

2019年，深蘭團隊就在KDD Cup 2019 AutoML Track 挑戰(zhàn)賽中取得第一名的佳績，此次深蘭的再次奪冠證明深蘭秉承“技術(shù)先行，深耕基礎(chǔ)研究”的理念，在數(shù)據(jù)挖掘領(lǐng)域占據(jù)領(lǐng)先地位。而其自主研發(fā)的時序異常檢測框架，也為AI運維，AI時序監(jiān)控等領(lǐng)域的實踐和落地開闊了思路。