黑科技又来了!这回是异常数据检测! | PBI实战应用
- 1 -
从一堆异常数据里识别出异常数据,这个问题本身是很难、很难、很难的,除了一些可以明确定义的异常规则(这一点因各种情况差异很大,后续通过不同案例讲解),还有很多的异常其实就靠业务的经验、理解甚至是感觉。
但是,靠经验不等于瞎来,也不等于某些影视剧里无厘头的故作便秘状的“灵光闪现”。
这时,如果有一定的工具辅助,结合一定的敏感度对“看起来不太一样”的数据进行预判标识,那对于业务来说,将会有很大的帮助。
- 2 -
先举个简单的例子,我们有一张日销量表:
基于这张表,我们在Power BI里可以轻松制作一个销量趋势折线图:
那么,这个销量里是否存在一些异常情况呢?我们可以用Power BI快速做分析:选中折线图,依次单击“分析/查找异常/添加”:
调整敏感度(90%),然后单击“应用”,折线图上马上标出一个小黑点,即表示该点存在异常情况:
另外,我们还可以设置异常标记的格式,比如调整形状,颜色等等:
是不是很简单?但是,更牛逼的还在后面,我们可以点击异常点,然后……竟然自动生成“异常”解释!
显然,这里是关联了表里的其他列做出的智能统计!
- 3 -
到了这里,肯定又很多朋友想问,这个判断异常的原理(算法)是什么呀?
好吧,就像前面文章《对不起,这些技术细节,只能翻微软官方操作手册了!| 附PQ手册下载》一样,又得搜微软官方说明了!
经查,该异常判断的算法可以参考文章:
https://techcommunity.microsoft.com/t5/ai-customer-engineering-team/overview-of-sr-cnn-algorithm-in-azure-anomaly-detector/ba-p/982798
文中很多内容看不懂,但这个两个图看懂了:
如果想进一步了解,还可以看关联的论文(虽然我觉得看不懂,但还是觉得很贴心,有没有?):