巨头加持，详解国内首个广告反作弊大数据实验室！
随着越来越多的广告预算流向数字渠道，广告作弊也成为一门水涨船高的大生意。
2016年，AdMaster旗下第三方广告监测产品 TrackMaster的反作弊模块 BlueAir侦查到国内的无效营销流量高达30.2%。美国国家广告协会的数据也显示，2016年整个广告业因作弊蒙受的损失在500亿人民币左右，其中，受广告主热捧的程序化视频广告成为重灾区，异常流量占比高出平均水平73%。
而在第三方监测平台和行业协会公布数据的同时，大量的刷量工具也大行其道、层出不穷、作弊手法连环升级，“反侦察”能力极强。一个叫XX宝的“专业刷量平台”竟公开号称自己产生流量的IP来自全国各地，是非常真实的数据流量并且天然支持国内主流数据统计器的流量统计。
而随便在网上搜“刷量”的关键词，立马就会跳出各种赚钱工具。在某宝上搜“刷量点击”，各大视频网站的点击、阅读评论、粉丝点赞“有偿服务”也是应有尽有。
各种刷量赚钱工具
不夸张的说，国内的广告作弊已经拥有了完整仿真产业链及广阔市场，绝非模拟器刷量时期一抓就现行的小打小闹了。或者换句话说，如今国内的反作弊局面更为严峻了，单靠第三方监测平台来撒网捕鱼，漏网的比例肯定会比联合追捕要高。
这样背景之下，4月末，国内领先的营销数据技术公司AdMaster宣布与腾讯MIG（移动互联网事业部）达成战略合作，正式启动广告反欺诈大数据实验室。AdMaster反作弊团队将同腾讯MIG的灯塔团队协同升级移动广告的异常流量识别与防御能力，为广告主构建更全面、精准的反作弊防护网。
广告反欺诈大数据实验室成立启动仪式现场，AdMaster & 腾讯负责人一起按下手印，寓意携手共建健康的互联网环境
MIG灯塔：技术与数据双剑合璧的反作弊产品
腾讯MIG联合AdMaster反作弊，可以说是强强联合。AdMaster作为独立的第三方监测公司，一直致力于通过数据技术甄别虚假流量，最大化保障广告主的权益。而腾讯作为互联网巨头，既是广告主也是广告平台，它每年在花费十几个亿推广App的同时还承载着几百亿的广告预算，对净化互联网环境有很强的需求与责任。不过作为媒体，腾讯适合承担反作弊的角色吗？
答案是——适合。因为从归因的角度来分析，我们很难去判别到底是广告投放的哪个环节出现了作弊。例如一个视频贴片，在它的产业链上有剧目发行方、评论者、广告代理、销售等多个主体，AdMaster 首席产品官邬剑在发布会上现场指出：“即使某个流量是恶意的作弊流量，也无法准确的定性它是视频网站还是广告销售在作弊，甚至内容发行商以及明星粉丝会为了播放量也可能作弊。作弊的归因是非常复杂的，不能简单的说作弊严重就都是媒体的责任。”
因此，从现实来看，把作弊动机简单的抛给媒体的想法太过简单，因为像腾讯这样具备媒体属性的平台也具有很强的反作弊动机，就像政府既有贪腐份子也有纪检委和反贪局一样。像BAT以及众多有可持续经营理念的公司来说，都有单独的反作弊部门，这就如同所有的上市公司都拥有内审部门一样。
灯塔作为腾讯内部的数据产品，反作弊是它的一个应用方向，它的核心成员均具有多年的安全产品研发经验。在与AdMaster合作之前，灯塔反作弊服务的客户大部分是包括腾讯42款应用、应用宝广告线以及腾讯社交广告这样的内部产品。它反作弊的初衷主要出于两种考虑，一是腾讯作为广告主受流量作弊之害，需要强有力的反作弊产品保护自身推广预算；二是腾讯作为承载百亿广告预算的大平台，有义务保护广告主的利益。目前灯塔反作弊每天验证5亿+移动终端，识别虚假终端，以保护内外部广告主的推广利益。
作为腾讯旗下的反作弊产品，灯塔最大的优势在于覆盖全国9亿的月活终端，它几乎覆盖装有腾讯应用的每一台手机，并拥有中国最准的IP库和最全终端机型库；依托海量数据，灯塔构建了终端指纹技术，结合云端机器学习模型，多产品多场景的用户行为交叉验证，层层筛查进而识别大多数的程序化广告作弊。而此次之所以选择与AdMaster合作，就是想在日益严峻的作弊环境下通过开放自身的反作弊能力来与专业的反作弊伙伴一起净化行业环境。
合作模式：类似联合“取证”，目的是让作弊流量无处遁形
从第三方孤军奋战到互联网巨头主动输出反作弊能力，加入反作弊阵营，这绝对是能纳入中国数字广告反作弊史的大事件。而双方的合作模式简单用一句话来概括，多少有些类似现实中公检法机关的联合执法。
你一定前段时间热播的《人民的名义》里如下片段不陌生：
为了还侯亮平清白，省检察院需要赶在祁同伟掌控的省公安厅之前找到音信全无的尤会计和钱司机，一筹莫展之际，陆亦可退休的母亲吴法官凭借多年的断案经验，推测俩人可能被苑南县法院司法拘留。为在祁同伟之前找到并审问俩人，吴法官当即向苑南法院说明情况，在苑南县法院和汉东省检察院的跨省联合行动下，尤会计和钱司机最终得以在检察院受审，侯亮平也才能继续他的“利剑行动”。
而做一个形象却不太恰当的类比，联合成立广告反作弊大数据实验室的AdMaster和腾讯MIG灯塔团队就相当于《人民的名义》中的汉东省检察院及苑南县法院，作弊流量多少类似剧中的尤会计和钱司机，而利益驱动的作弊方则等同于贪腐份子祁同伟一众人等。
用灯塔负责人左肖的话来说，作为腾讯内部的反作弊部门，灯塔之所以选择开放自己的能力与外界合作主要是出于对现状的反思。从反作弊方来看，有个日益严重的问题就是作弊方技术日益高超，而反作弊方间的协同却较少。“反作弊判定一个用户是真的、假的、黑的、白的，这是盲人摸象的问题，AdMaster摸到一条腿，我们摸的是鼻子，也有人摸的是头，拼装起来之后才可以去判别这个用户到底是黑的还是白的。”
据AdMaster和灯塔主要负责人介绍，针对反作弊，双方的合作模式大致将分为三个阶段。初期的合作模式是流量先过AdMaster反作弊模块Blueair的多层滤网，之后再过一遍MIG灯塔的反作弊模型，经过双方对流量的独立判别，输出汇总后的作弊流量，双重防护，立竿见影的让广告主看到联合反作弊的效果；第二个阶段，双方将在数据层面做深入研讨，研发新的反作弊模型；第三个阶段，双方将在广告反作弊之外的其他领域展开合作，比如广义上的金融反作弊以及狭义上的营销活动反作弊。
反作弊技术机制：各具优势，双重防护，提升作弊成本
AdMaster和腾讯灯塔之所以选择在合作的第一个阶段独立判别、汇总输出、双重防护的模式，主要原因在于双方在反作弊方面的经验积累不同、技术优势、反作弊模型也不尽相同。
AdMaster和腾讯灯塔的反作弊技术原理分别为何呢？
针对机器人虚假流量、内容投偏、多次激活和设备刷量等作弊行为，AdMaster构建了包括异常流量甄别、内容监测及移动App推广监测在内的反作弊体系。异常流量甄别针对任何投放，支持后验或者前期预判，内容检监测针对定剧目的投放，通过截屏来监测，移动App推广监测适用于移动App的CPI或者CPA投放。
为此，AdMaster旗下 TrackMaster先后研发了数字广告及OTT广告流量反欺诈技术BlueAir、视频广告反欺诈定投识别VOA、监播实录SNAP等落地化的产品。这其中程序化的异常流量监测主要靠BlueAir完成。
BlueAir的运作原理有些类似空气净化器，共分4层来净化IP、Cookie、IMEI/IDFA（终唯一识别码）、Ref（关键词）、UA（用户代理）。四层过滤网刷掉的作弊流量难度逐层提升，依次为频次异常（即同一IP/DEVICE ID/cookie重复点击等）、来源异常（访问者信息不符合常规等）、行为异常（曝光时间和地域异常等）和不稳定用户（同一设备的生存周期过短等）。通过四层防护，BlueAir能过滤掉绝大多数的异常流量。
腾讯灯塔的反作弊原理则与AdMaster明显不同。据灯塔负责人左肖介绍，目前的作弊手段可模拟伪造出正常用户行为，传统通过行为判断的反作弊策略极易失效。腾讯灯塔深入终端底层技术，从系统层、应用层特征构建模型判断移动终端是否是作弊终端，同时依托自身大数据优势进行多产品多场景的用户行为相似性行为检测，精准判断异常用户。灯塔反作弊方案主要依赖两点，一个是规则引擎与机器学习双引擎，第二个是数据。
在规则方面,嵌入灯塔SDK，从系统层、应用层构建规则，判断是否模拟器、是否真机篡改ID伪造用户，是否被作弊后台云控等。举个容易理解的例子，灯塔可以通过判断同一来源终端的电量数据来识别作弊，因为作弊时设备的电量一般不会降。在机器学习方面，灯塔近两年投入比较大，规则引擎针对确定性的作弊手段，而机器学习算法通过灯塔大数据及可疑用户，实现模型自学习升级，及早发现、识别新作弊手段，这主要是规避规则遗漏的作弊场景，通过机器学习来归纳出通过规则没有办法覆盖的场景。
数据方面，腾讯在数据方面的优势给反作弊带来了先天优势。灯塔覆盖9亿月活终端、全面的IP库、终端机型库，同时业务多样、场景丰富，构建了全面、丰富的异常行为特征库，并累积了上亿黑终端库，灯塔在做反作弊时会建立训练库和评估库，判别行为是否异常。另外，由于腾讯的App基本覆盖不同用户的不同使用场景，当不确定该设备是否作弊时，灯塔还可以做交叉验证分析。
因此，基于AdMaster和MIG灯塔不同的反作弊模型及经验积累，双方将对作弊流量进行双重校验，联合起来发现更多的作弊手段。在模型层，在独立对作弊进行评判后，将数据融合统一输出反作弊结果，使得反作弊的结果更加全面、准确，也让作弊方的作弊成本不断提升，减少它作弊的动机。
毕竟做生意都是要考虑ROI的。