数据分析团队正成为手游公司的标配,但我为什么说解散它是最好的选择?
一、无力的数据分析师
数据分析团队几乎开始成为所有手游公司的标配,谁都觉得自己应该建立(接入)一个数据分析平台,然后招几个数据分析师,似乎不这么做,都不好意思说自己是互联网圈的。
But,你认真想过:
我真的需要建立数据分析团队吗?
行业的公司对数据分析,常见有这么几个观点:
1、我招一个会取数的就好,我叫他取数据,做一些简单的处理,我来分析,就足够解决我工作中的问题了。
2、我一定要对我产品的数据了若指掌,而且越细肯定越好,这样我就会知道产品哪里有问题,怎么改,这样才(就)能帮助我修改我的产品。
3、我是一家大公司,又不是独立开发者这种穷鬼,怎么会去用第三方统计平台这种功能标准化的玩意?我一定得建立一套自己的分析平台,最好是BI系统。
4、数据挖掘已经很成熟了,如果我招到一个这方面的高手,他一定能 搞出一套套模型来帮助我提升留存、提升付费率。
其实上面几种说法都没错,但是,你真的知道数据分析能够解决什么问题吗?哪些是你想要的?还是你只是追求安全感走一步是一步?
数据分析的四大期望——观察、诠释、评估、应用
所以你觉得招一个数据分析师,最重要的是帮助你解决哪些问题呢?
我问过不少人,他们一般说:
首先是诠释;
(知道发生了什么没啥用啊,知道为什么才重要啊!要不我怎么改呢?);
其次是应用;
(这个最直接能为我提供收益啊,如果能有当然最好啦);
观察和评估这2个不难,现在很多第三方平台都能帮我做啦,我自己定义下,程序也可以帮我弄一个平台呀。
对不起,恰恰是这2条是最难达到的!甚至达到也是会让你失望的!
关于诠释:耗时耗力,且不一定能很好的诠释!
案例:发现3日留存不够理想,想知道是什么造成的。
数据分析师:2-3年工作经验(5年以上分析师一般已经不亲自干这种活)
常见工作流程:
1. 发现异常
需求:需要一个数据平台,或定期取数观察此数据
操作:定期观察数据
2. 提出假设
需求:需要一个有业务理解的数据分析师
操作:
列举3日时,玩家通常等级、接触的玩点:
熟悉——直接列举;
不熟悉——预研究(取数、统计观察)
猜测玩家流失可能原因:
某类必备道具或能力由于种种原因未能获取,导致游戏进度困难流失。
某个关卡未能通过,卡住玩家,导致流失。
3. 取数
需求:1、数据仓库;2、配套数据仓库维护员;3、具备数据库操作技能;4、常见相关记录如 登录数据、任务接取情况、等级、金币、装备、宠物……
操作:
取出以下数据:
注册表、登录表(按日)、登录明细表、相关任务Log、等级表、金币表、装备相关表、宠物相关表。
4. 清洗
需求:具备数据库操作技能
操作:
清洗得出以下数据:
是否第三天流失、任务是否接取、任务是否完成、任务完成时间、最后停留等级、最后库存金币、最后装备分布、最后宠物状况
5. 分析
需求:有基本的分析能力
操作:
对比流失与非流失玩家在第三日时,各项关键游戏数据、各个任务接取率、完成率
绘制各等级流失率数据,观测流失高峰
按任务的序列绘制流失率数据,观测流失高峰
6. 撰写报告
需求:有报告撰写能力
结论来了!!!在第三日的时候:
1. 流失与非流失玩家,各项关键数据未见明显差异,各任务接取率、完成率未见明显差异。
2. 22-25级的流失率相对较高,有一个偏高的峰。
3. 按任务序列未发现明显流失高峰。
悲催的真相
1. 悲催的可能性(一)
玩家在22-25级左右会在某张地图打怪,而这些怪附近恰好有其他较高等级的任务怪,高等级玩家在附近做任务就刷掉了所有怪,导致22-25级玩家升级缓慢,无聊了一整天,自然就流失了。
悲催指数:三星
理论上分析师要是敬业一些顺着22-25级流失率偏高往下挖是可以抓到的。
其实如果是这个原因根本不用那么麻烦,下一章会详述。
2. 悲催的可能性(二)
其实就是这游戏太腻味了,玩家觉得没啥新鲜感,到了第三天自然流失罢了,留下的那些玩家只是恰好比较有耐心而已,为什么集中在第三天流失,只是因为第三天开始重复程度比较高,已经没有新鲜玩点、以及目标感支撑......
悲催指数:五星
这个杀了分析师也研究不出来,就算他猜到了,也没法证明。
上面是一个非常常见的数据分析师日常案例,在这个案例中,我们可以看出:诠释一个异常数据的原因,对于数据分析师是一个冗长的工作流程,而且不一定能很好的诠释。
即使能准确诠释,很可以意义也极为有限。
例:我们经常通过对关键节点埋点来发现流失高峰,并且找到这些关键流失的问题,并且调整解决它,从而削掉这些高峰。
但是不知道大家有没有在实战过程中发现这样一种现象,你削掉了这些高峰之后,绝大多数情况下,只是让流失节点的数据变得平滑了,而整个留存数据也只是变得稍微缓和了一些,并没有改变整个留存曲线的大的态势。
这又是为什么呢?下一章会详述。
关于应用:不要迷恋哥,哥只是个传说!
【应用】涉及更加复杂的数据挖掘模型与算法,也就意味着更高端的人才,更长的研究周期。我简单举个例子说明:
一个悲催的真实案例:
我的一个好友,也是数据分析行业的大牛了,他的团队给一款手游做了一个分层激励模型,并且部署上线,这个模型的效果是让付费率提升了200%左右,这已经是这类模型的经典战例了,可以说是效果显著。
但是实际对游戏收入的提升仅仅只有2-3%,原因很简单,因为这款手游的大R影响力太强大了,那些小R即使数量翻了一番,也根本无法影响到大局。
数据挖掘在产品中的【应用】确实可行,但对于中小型CP、发行属于性价比很低的事情,若一定要做,建议选几个特定的命题去做,下一章会详述。
为什么数据分析会有这样的无力感?
二、局限的缘由
1. 冗长流程
用数据来诠释原因其实是最最苦逼的方法。
2. 解释困难
过于依赖数据记录的完整性,以及分析师的预判能力导致了数据分析解释异常数据的困难。
案例:
数据异动现象:
在第三日的时候
1. 留存率不够理想
数据诠释原因结论:在第三日的时候:
1. 流失与非流失玩家,各项关键数据未见明显差异,各任务接取率、完成率未见明显差异。
2. 22-25级的流失率相对较高,有一个偏高的峰。
3. 按任务序列未发现明显流失高峰。
背后真相:
可能性1:
玩家在22-25级左右会在某张地图打怪,而这些怪附近恰好有其他较高等级的任务怪,高等级玩家在附近做任务就刷掉了所有怪,导致22-25级玩家升级缓慢,无聊了一整天,自然就流失了。
可能性2:
这游戏太腻味了,玩家觉得没啥新鲜感,到了第三天自然流失罢了,留下的那些玩家只是恰好比较有耐心而已,为什么集中在第三天流失,只是因为第三天开始重复程度比较高,已经没有新鲜玩点、以及目标感支撑......
解释困难的缘由:
现实中的现象千奇百怪,很多事实是数据不一定会记录到的(如:玩家对游戏腻味了,逐渐失去耐心),而只要当时这个事实未能在数据中被记录,这个真相就无法被数据分析发现、还原;
即便这个数据被记录了(如:打怪),但是若是分析师没有注意到这个点做出研究假设(未能竭泽),这个真相就无法被发现。
3. 无力改进
数据分析发现的问题,只能改掉毛病,但是无法找到产品根源性问题。
案例:
如上图案例所示:
数据分析发现了各等级中流失率异常的点,并且也发现了原因。
并由策划进行了调整,在版本更新后抹去了这些流失的高峰,但是从下图的留存数据上看,我们会发现这3个点异常高峰的抹去,对总体留存的挽回杯水车薪,并没有扭转整个留存持续下滑的颓势。
这是因为:
数据只能消除那些因设计失误而带来的问题,但并不能使得游戏变得更加精彩,或者玩点更为丰富,因此,即便解决了这些问题,也不能使得游戏产生质的飞跃。
应用:
在实战应用中,数据挖掘技术在游戏中的应用,往往有这样几个现象:
人才昂贵,而且需要配备更全面的数据体系支撑;
即便定期立项课题,却鲜有斩获;
即便有产生效果,也多为小胜,锦上添花,少见有非常突出的贡献(有一般是基于某个目的而建立的数据挖掘团队,如竞技类游戏的匹配算法)。
为什么这样,这些年的经验给我的启发是:
游戏体系不同于一般的App体系。
我打个比方:游戏的整个体系(世界)在设计之初,都是策划(上帝)刻意创造出来的,强加的规则远比一般的App来的多,而规律也会相比其他App更加遵照策划(上帝)想象的规则。
而我们在【应用】中,往往期望能够发现一些策划想象不到的规律(类似数据挖掘中的神话“啤酒与尿布”案例),并且还希望这个现象能够对游戏改良(促活、增收)产生收益。
而实际因为在游戏中,特别的规律实在是非常多,而多数的规律往往是策划刻意为之,机器(算法)并不知道哪些是有价值,哪些是已知的。
因此会导致数据挖掘工程师在游戏数据中的挖掘效率变得更加低下(因为会比其他领域发现更多本就可以想象的事情)。
虽然困难,但并不表示,数据挖掘无法在游戏中很好【应用】
在数据挖掘技术【应用】的实战中,我发现:
1. 识别某类群体(如:工作室、外挂)
2. 预测某类行为(如:流失预测)
相对容易产生好的【应用】。
以上还只是游戏行业数据分析的通病。
我们再次回到今天范畴——手游,由于手游的特质,会导致数据分析更加的局限。
手游特质
基于这3大特质,数据分析应该重点做什么?
怎么办?
我们回到上文的结论,为什么会【发现】易,【诠释】难?
1. 数据分析属于竭泽而渔的做法;
2. 数据分析可以发现出了什么问题,但是却很难发现为什么不够好;
但是往往不够好才是留存差的关键!
我打个比方:
决定一个妹子喜欢不喜欢你的重点,并不在于你有没有干什么蠢事(一些关卡的设计失误),而在于你帅不帅(美术风格),是不是她喜欢的风格(游戏类型),是不是一个有趣的人(总是能给她惊喜)。
你改掉那些蠢事毛病,能做到的只是,不要因为犯蠢而导致某个本来会喜欢你的妹子离你而去。
所以对于一个游戏:
1. 不犯错固然重要;
2. 花样挑逗才是维持留存的关键!
我们在这里并不是讨论设计游戏的方法,只是借“不犯错”“花样挑逗”来看看数据分析是不是能帮上什么忙。
关于“犯错”:数据分析确实可以发现犯错了(妹子不开心了,数据表现异常了),但是前文说了想要诠释为什么这事其实数据分析并不拿手。
关于“花样挑逗”:数据分析想知道挑逗是否成功(妹子High了!),这个就有点为难数据分析师了。
其实我们根本不用这么纠结于非要用数据分析来诠释我们哪里犯错,也不用去判断是否挑逗成功。你见过谁去搞一个可携带设备通过观测妹子生理参数(额,好像污了)帮助屌丝把妹的?
所以我们不要把自己限制在数据中思考问题,问题就迎刃而解。
三、玩家视角看玩家
既然我们发现,数据分析由于上文种种原因,很难帮助我们通过【发现】【诠释】去让游戏的品质产生质的变化,从而帮助策划“泡”到玩家。那么我们该怎么办?
“春江水暖鸭先知”,如果我们真正回到【玩家视角看玩家】,上面那些破事根本就不是个事情!
何谓【玩家视角看玩家】
说个故事,是我刚入行的时候的事情:
有个运营总监,特别不爱看数据,特别喜欢看玩家原话,于是我们各种装逼做出的各种数据他都不是很有兴趣,只想看玩家原话。
那时候我的内心是崩溃的,老子用了这么高端的数学模型,这么深入的分析,做出这么深刻的分析!居然比不上玩家原话,MDZZ!
过了许多年之后的今天,我突然发现这个要求其实是非常有道理的。
只是这种所谓的“玩家原话”并不是我们直接理解过去的玩家原话,比如客服反馈的玩家的意见,或者是我们电话调查玩家:你有什么不满意的地方啊?你为什么流失啊?
为什么?
和把妹一样,Care你的人才跟你吐槽,懒得鸟你的人,绝对不会跟你说那些背后的真相的,所以如果分手的时候问妹子原因,常常是好人卡。
而客服反馈那一般回来的都是:哎呀,太贵了!唉呀,太刮金了!唉呀,太卡了!唉呀,爆率太低呀!唉呀,太不平衡了!
如何【玩家视角看玩家】
所以怎么办呢?
再给大家讲一个我“少年”时的故事,那时候我们招了一个人类学的硕士,跟我们提到一种研究方法:“田野作业法”。这是社会学和人类学里面的一种基础调查法。
这哥们打算怎么在游戏上应用呢?
很简单就是深入玩家,跟玩家一起玩,然后玩几个月给一份报告,于是我的内心又奔腾了,MDZZ!
过了许多年之后的今天,我又发现了当年其实ZZ的是我(咦,为什么说“又”?),因为回顾那几年我自己做为“分析师”做Case的时候,为什么能做出推动游戏重要改变的Case,为什么能说服目空一切的策划,本质是因为我有意无意的用了“田野作业法”。
那么我今天又是给大家说了一句屁话吗?你只要进游戏和玩家一起玩,自然就会发现:1、你犯错了吗?2、犯了什么错?3、你挑逗成功了吗?
其实这里还是有一点点门道的,如果只是简单问一句怎么样?好玩不?喜不喜欢?
那就好比:相处两天就对妹子说:你觉得我这人怎样?喜欢我不?为什么不喜欢?有没有觉得哪点比较喜欢的?我只好替妹子说MDZZ!
所以,如果你想知道妹子(玩家)内心的真实想法,那么不要轻易开口问,你要做的是观察,如果一定要问也一定要通过妹子的“闺蜜”去问。
【观察】的学问
观察?我们到底要观察什么?怎么观察?
回到我们的原始目的去看看,我们的目的是:1、别犯错;2、努力找到玩家的High点,变着花样挑逗他。所以冲着这个原始目的,观察的时候我们要抱着什么样的目的去呢?
1. 观察目的
2. 观察维度
请注意:观察维度,只是帮助你更好的记录你观察到的现象,而最终你的思考还是需要指向观察的目的:
How:我的每个设计玩家有什么反应?
Why:他们为什么有这些 好或不好的反应?
Enough:我做的足够好了吗?能让玩家逐步沉溺于我的游戏吗?
从而反省,你觉得你这样的表现能泡到这个妞吗?哦,不,能吸引到这个玩家吗?
3. 观察的有效性
灵魂附体:又些文献中又称“通感”。
如果你在观察以及跟玩家的沟通中能做到对玩家的每个想法、情绪、行为感同身受,认为:“哇靠,是我也会这么想、觉得、做”,那么就可以认为你达到了这个状态。
如果你到达了这个状态,那么我认为你的观察就是成功的,有效的。
4. 【观察】与【数据分析】对比
玩家视角观察,数据视角分析,在保障游戏品质上的作用差异。
总结起来:
如果你想迅速知道产品表现如何,那么数据是一个很好的帮手;
如果你想知道产品为什么是这样的表现,那么进行“玩家视角的观察”是最有效的手段。
虽然很多人也都知道这个道理,但是往往策划、产品经理,还是会选择让数据分析师帮他去解决分析数据,为什么呢?
其实原因很简单:“懒”!
因为观察需要主创团队自己去啊!!!
所以这种事还是丢给数据分析师吧……
5. 【观察】的工具
最后安利一个挺有意思的小产品,一帮数据和用研出身的朋友做了一个叫Uta Testing的东西。
他们做了几件与我观点不谋而合的事情:
可以指定目标玩家;
观察了情绪;
提炼的问题点;
我觉得这个产品最大的价值:
展现形式是新颖的;
符合我前面说的“玩家角度”的观察;
直观、便利、一目了然,不易有分歧;
最重要的是——主创团队可以名正言顺的偷懒了。
关于作者:
蔡林鸷,原网龙商业分析部首席分析师,91数据分析团队创始人,91RTB广告项目发起人。游戏咨询分析老油条。