在这个平台，人人都是数据分析师
上周三（7月26日），诸葛io创始人&CEO孔淼受邀出席了AWS技术峰会2017，本届峰会围绕多项云计算热门议题，覆盖大数据和人工智能、架构、安全、IOT等十大技术分会场，汇集众多技术团队的大咖共同探讨云计算的创新发展之路。
本文整理自诸葛io创始人&CEO孔淼在大数据技术专场论坛中发表的题为《 数据驱动企业商业价值增长》的演讲：数据分析的核心是为业务服务，围绕如何整合线上线下的业务数据和用户行为数据，挖掘背后的商业价值。
孔淼从以下4方面进行了深度解读：
1、数据挖掘的“内忧外患” 真正的大数据落地，既要结合行业场景化的需求，也要对行业有足够深入的了解，更要认清企业所处不同的大数据阶段，从而实现大数据价值挖掘过程中的“对症下药”。
2、以用户为中心，场景化驱动数据价值释放 诸葛io将“大数据赋能”的理想真正转变为现实。人人都可以实现用户特征与行为特征的交叉分析，通过丰富灵活的分析功能和场景，让业务的人更懂数据，也让数据体现价值。
3、强大的数据采集能力 打通用户与业务数据 诸葛io将数据采集、数据清洗、数据加工、数据加载、建模分析及可视化的全过程一站式的交付。
4、基于统一的ETL 实现SaaS和私有部署的统一 满足不同企业的个性化需求。
诸葛io创始人&CEO孔淼在活动现场发言
数据挖掘的“内忧外患”
1、线上线下信息化 数据整合困难
企业管理信息化：ERP/PMS/CRM等信息化系统积累大量的数据
服务互联网化：App和网站从信息平台延伸成为了服务平台的基础
线下行为结构化：人脸识别，红外体感可以识别线下行为，非结构化数据结构化
线上线下的信息化背后，产生的大量数据，如何整合，并发挥出商业价值？
2、红利消尽，经济放缓，数据驱动不可避免
流量时代结束：互联网用户增长放缓，获客成本增加
经济放缓：经济增长放缓，人力成本增加，第三产业服务行业结构上升
数据驱动价值：（内）优化内部管理效率（外）减少客户流失，提升客户转化
红利消尽，经济放缓，如何通过精细化运营提升企业价值？
3、大数据几波发展，新技术势不可挡
早期信息化系统——第一阶段“信息获取时代”，只解决企业内部管理问题，采集的是一些少量的数据，KPI、订单、业务，总结经营活动等基本业务状况。
随着信息化系统对外使用，更多承载着客户服务，数据量猛增，如何结合数据思考规律，这也是诸葛io与传统统计的区别，诸葛io全面采集数据，帮助企业分析产品，运营策略，寻找更优质的市场渠道，这是第二个阶段——“信息挖掘时代”。
第三个阶段——信息输出时代，融入更多自动化的分析，找出高价值客户，高流失客户，自动化的通过用户后续行为，评估推广渠道的质量并实现自动优化，我（诸葛io创始人&CEO孔淼）相信这是下一步价值驱动更多要解决的问题，即，把信息和输出价值结合在一起，但大多数企业，更多的停留在第一和第二阶段，如何帮助这些企业紧跟数据技术发展的趋势，这也是一个大问题。所以，诸葛io的切入，其核心是为了解决这几个问题。
以用户为中心，场景化驱动数据价值释放
1、打通数据源，整合用户数据
“用户-触点-会话-事件”模型，挖掘数据关联价值
对于一个企业而言，诸葛io将用户数据打通，以用户为中心，组织关联不同数据源，比如，线下门店的会员积分体系，用户输入手机号，然后购买商品的价位等信息构成一部分数据源；用户也可能通过微信公众号、小程序、APP、网站等与企业进行交互，这又构成一部分数据源，故，关联不同数据源非常重要。
大数据发展初期，通常只是将数据统计后总结经营活动，这个按纽点了多少次，一个页面访问了多少次；现在有一个概念叫“事件”，将静态数据变成动态的，将“指标”赋予“描述业务”的活力。
诸葛io结合用户和事件，将企业全年数据动态化，因为事件是有时间、地点，详细描述，可追踪的，这是很多新型数据分析平台所支持的，但诸葛io做得更好，我们有“触点”和“会话”。触点可还原用户场景，挖掘背后价值；通过会话可以了解用户在何时、何地做过什么。
比如，一个用户一天访问5次还是1次，一个人去门店10次还是3次，用户在应用里访问10分钟还是1个小时等会话数据，均可反映用户的粘性和深度。通过用户、事件、触点、会话，即可挖掘多个数据源中有价值的数据。不是采集的所有数据都有价值，只有先明确分析目标，找出有价值的数据，才能发挥分析价值，这是诸葛io的数据分析理念。
2、丰富灵活的功能场景，企业数据驱动的基石
基于这套理念，诸葛io提供了“一站式”的数据分析解决方案。何谓“一站式”？
首先，解决数据采集问题，诸葛io随着这两年的发展，不停地在完善数据采集能力，从最初，我们独具一格的业务驱动埋点（大多数平台采集“点击行为”以及“页面访问”背后的浏览量和人数，，而诸葛io采集的是背后的所代表的业务行为和描述）。
第二，交互跟踪的全埋点方案，通常存在数据不准、影响性能等问题，但在某些场景中可帮助了解用户转化情况，所以诸葛io同样提供类似方案。
第三，开放式的后端接入，把诸葛io的视野从线上APP、网站，拓宽到一个企业的各种数据源无疑需要支持后端接入，故诸葛io有非常开放的后端接口，打通整合CRM等各种系统数据，所以数据接入是诸葛io提供的第一道服务。
为了让数据分析更有价值，诸葛io提供非常丰富的分析场景，之前大多数企业都需要懂数据的BI团队，即，业务的人与数据的人沟通，然后由技术来实现最终通过报表呈现。此分析过程成本很高，所以诸葛io开发出很多自助式分析模块和场景，让一个只懂业务的人可以通过诸葛io的模块分析数据。之前，可能完全依赖于技术化的程序脚本，现在，在诸葛io平台，通过交互式点击的操作，筛选出对应人群，并实现不同人群间的交叉细分对比，查看转化率差异，跟踪运营活动效果，评估产品功能设计，监测市场推广活动表现，诸葛io为一个丰富自助式场景提供的一个价值输出。
诸葛io自助式的分析场景，将分析结果的获取，从天级降到秒级，这也是一些大型公司之所以选择诸葛io的原因，提高了分析的效率，降低了沟通的成本。
实现数据接入和自助式的分析场景后，因数据是非标准化的，不同行业、不同角色在不同场景，甚至不同时间内所关注的指标都是不一样的，诸葛io不可能提出大而全的解决方案，但诸葛io有通用模型后，便可提出非常灵活的自助式分析的方案。
诸葛io支持企业灵活的二次开发，即，将底层进行清洗和整合过的数据完整的开放给企业客户。所以，诸葛io有数据仓库的SQL查询平台，进行各种丰富的展示化，包括接入到可视化分析平台，诸葛io有Kafka，它能够融入到企业自己的数据分析体系中，因为在企业中，有的可能喜欢用Excel给老板做汇报，有的可能有自己内部的分析服务和方案，所以诸葛io很灵活，提供了非常丰富的API，将企业内部数据运营的体系融入。
为用户提供了非常灵活的选择，诸葛io提供SaaS和私有部署两种方式，SaaS基于AWS，私有部署即部署在企业本地服务器上，使用的是一套独立架构。总之，诸葛io平台非常Open，满足企业不同的需求。
3、专业体贴的分析服务，帮助不同角色驱动价值
诸葛io提供数据分析服务团队，让数据分析的门槛变低，让数据分析不再成为一件难事。通过数据分析服务团队，诸葛io可以帮助客户建立有效的指标体系；帮助市场营销辨别渠道的好坏；帮助运营保护留存，去设计好的活动，设计好的产品；帮助产品经理把产品的核心价值更好的进行输出等等。
诸葛io通过精细化的分析，以工具为底层，通过漏斗、事件，多种采型组件以及分析组件为基础，支持企业进行精细化分析。同时诸葛io还可根据不同的应用场景覆盖用户的不同生命周期。
比如，此前宝马和奥迪通过诸葛io做广告投放，通过诸葛io的广告监测平台可实现，从曝光-监测-落地的监测，诸葛io还有功能优化和获取分析，用户落地后获取的来源，渠道的归因分析等。此外，诸葛io提供智能触达解决方案，通过给合适的用户在合适的时间精准推送合适的内容，比如：短信/APP内的PUSH或者通过Webhook实现其他形式的推送。
诸葛io全面覆盖从曝光到付费到留存（流失）的全生命周期链条，相信未来的服务一定是以用户的生命周期和价值为基础的。所以，让业务的人更懂数据，让数据更好的服务业务是基础。
诸葛io每个月已处理超过百亿有效的数据量，目前已覆盖包括科技金融、SaaS，O2O等八大行业方案。众多知名企业都是诸葛io服务的客户，有很多大家熟悉的企业，比如工具类产品微天气，ToB平台智联招聘，科技金融平台人人贷等，最近成功与阳光保险达成战略合作，这只是诸葛io的一个开始，我相信接下来的发展会更加迅速。
强大的数据采集能力 打通用户与业务数据
诸葛io是一个支持二次开发的平台，丰富的采集方式，包括安卓、iOS、JS和微信小程序，全埋点、代码埋点以及可视化埋点，最近还上线了支持灵活添加属性的功能，诸葛io提供的应该是业内功能最丰富的可视化埋点方式。代码埋点一直是诸葛io的强项，很多企业从中获益。此外，诸葛io还支持服务端上传，能帮助企业更好地应用数据，支持工具导入数据，打通企业数据与用户行为数据。
打造具有“开放性”的二次开发平台
诸葛io为数据分析师特别提供具有“开放性”的二次开发平台：
1、SQL查询平台：有时复合指标是非常复杂的，无法通过交互式的图表获得分析结果，那么诸葛io直接开放底层的数据仓库（数据仓库开放接口），此外，诸葛io还支持各种图表的绘制；
2、API接口访问：将诸葛io采集到的用户行为数据导入企业内部系统中，可通过API来实现；若要获取诸葛io非常精细化的用户档案列表数据，也可以通过API渠道；若要加工数据仓库，也可以通过API接口；
点击图片查看大图
3、HDFS数据访问：因为诸葛io的用户体系与企业的用户体系是打通的，企业若有机器学习模型，若要获取更多诸葛io采集到的数据，那么企业可以把诸葛io的维度与企业自身业务的维度结合起来建立新的模型，此时可通过HDFS数据访问；
4、Kafka实时数据订阅：企业可通过诸葛io的Kafka实时数据订阅。
点击图片查看大图
诸葛io的基础架构分为两层，提供SaaS和私有部署两种方式：
→SaaS的海量数据存储是基于S3的，数据仓库是基于Redshift，Redshift是硅谷顶尖公司的选择，我们为每一个SaaS的付费客户都提供这样优质的基础设施，保障其分析性能
→私有部署的存储是基于HDFS的，数据仓库是基于Greenplum的，现在我们最新的实时私有部署平台，采用的是Impala作为查询视图。
基于统一的ETL实现SaaS和私有部署的统一
基于统一的ETL（Extract-Transform-Load）架构，诸葛io实现SaaS和私有部署的统一。
从“采集-接收-转换-加载-实时计算”，诸葛io通过使用同一套架构降低了成本，但是诸葛io的仓库不同，比如实时计算可监测当天的活动数据。此外，SaaS和私有化的模型也稍有区别，早期是一样的，后来发现存在问题。
诸葛io的很多Saas模型早期是为了更符合范式设计，可在去年出现了爆发式数据增长时，事件表、时间表等整个数据量特别大导致计算性能严重下降。所以，在私有化模型中诸葛io采用宽表方式：
SaaS的数据加载及存储：Kafka->S3 -> Merge S3 -> Redshift or Greenplum
私有化部署的数据加载及存储：数据流: Kafka->Kudu->HDFS(Parquet)，impala视图 : Kudu + HDFS(Parquet)
诸葛io以用户为中心，找到数据源的共性，将跨用户的数据打通，将数据采集、数据清洗、数据加工、数据加载、建模分析及可视化的全过程一站式的交付，结合用户和事件的交叉分析，诸葛io能够把企业全年的数据动态化起来，让业务更懂数据，让数据体现价值。
未完待续···
1、动辄数百TB级数据的企业客户，诸葛io在技术上如何完美提供支持的？
2、诸葛io提供的SaaS和私有部署服务，这两种方式在技术方面有哪些差异？
····
这些内容将在明天送出，还包含活动现场因时间有限未能详尽的干货，敬请期待~
（作为技术小白的小编已开始怀疑人生，所有字明明都认得，但已然解码无能了😂给小编一晚时间，明天满血复活，今天的内容如有表述不清的地方，欢迎留言，小编一定请教更专业的诸葛君前来解答，有可能就是孔淼本人哟~)
如果有什么疑问，也可随时互动哦~我们明天继续！