【案例】恒丰银行——客户行为实时分析系统
大数据客户行为实时分析系统采用大数据与实时流处理平台技术，从营销、风控、客户体验等多个业务视角满足渠道业务分析决策需求，帮助银行以产品为核心的经营模式，转变为以客户为核心的经营模式，最终实现向客户提供个性化、场景化的智能金融服务。
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递
作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟、中国大数据技术与应用联盟协办的《「数据猿·超声波」之金融科技·商业价值探索高峰论坛》还将在上海隆重举办【论坛详情】【上届回顾（点击阅读原文查看）】
在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖
来源：数据猿丨投递：恒丰银行
本文长度为6300字，建议阅读13分钟
互联网金融的蓬勃发展对银行带来巨大冲击。但国家战略对互联网+、大数据技术的强调，也让银行意识到这也是改革和创新的新机遇。在这种新形势下，一方面银行开始加速布局大数据技术在银行领域的应用，另一方面相比原来以产品为核心的经营模式，银行开始愈加重视以客户为核心的经营模式。
在客户管理及服务方面，银行以往根据 “二八原则”，往往主要服务那些给银行带来80%收益的20%的客户，但随着利率市场化下银行间竞争的加剧，“长尾”客户也将成为竞争对象，此外单一粗暴的划分原则也忽略了许多客户更深层次的个性化需求。
另一方面，受人力极限和技术所限，传统的统计分析方法不仅缺少对客户购买产品前的行为分析，更无法做到实时分析。如何在保持对高价值客户服务质量的前提下进一步提升个性化的服务体验，如何进一步挖掘长尾客户的价值，如何实现精准营销、如何提升客户粘性、如何优化缩短产品购买路径，如何防范欺诈交易等问题都是大数据时代银行迫切期待解决的问题。
基于上述背景，恒丰银行开始了基于大数据实时流处理技术的全量客户行为实时分析系统的建设。
周期/节奏
在客户行为实时分析系统研发之初，就确立了一切从“用”出发的核心思想，因此整个系统的开发过程一开始即摈弃了传统的“项目管理制”的运行模式，而采用快速迭代，不断完善的开发模式。
2015年10月，客户行为实时分析系统项目建设工作启动。
2016年2月，迅速完成第一版原型——基于手机银行单台服务器客户操作日志的点击流实时分析——投产试运行。
2016年6月，客户行为实时分析系统迭代实现了基于手机银行、个人网银的全量客户操作日志的点击流实时分析功能。
2016年11月，迭代实现了可对单个客户进行客户画像、渠道偏好、交易偏好进行分析的客户价值分析功能，一期项目完成。
客户名称/所属分类
恒丰银行/客户管理
任务/目标
客户行为实时分析系统通过对客户基本信息和行为数据的监测追踪、收集整合、评估分析，为业务人员决策业务策略时提供更全面、更准确、更有价值的信息。从不同的角度出发，客户行为实时分析系统需要达到不同的目标。
在全行的大数据建设规划角度出发，客户行为实时分析系统首先要实现两个目标：一是构建面向全行客户的群体客户行为数据基线。二是可以实时的发现和处理个体客户的差异性行为数据。前者是基础，后者则是价值挖掘对象。没有前者，后者也就无从对比和挖掘。
从业务角度出发，客户行为实时分析系统主要需要达到或支持以下三个角度的业务要求：
1)在营销角度，可以深度了解和分析客户在持有、购买、放弃产品及应用的前、中、后期行为特征，从而为客户偏好、360度画像、数据挖掘提供更精准的数据依据，最终实现精准营销。
2)在风控角度，可以深度了解和分析客户的活动范围、生活轨迹、交易支付习惯等，从而为信贷风控提供有力证据。
3)在客户体验角度，一方面可以深度了解和分析银行现有应用的运行状况、应用中各个功能模块的使用频率、客户访问路径长度等情况，从而为银行应用设计和优化提供数据支持，让银行应用产品更符合客户群体期望和个体期待；另一方面为客服系统、CRM、移动柜员等前端应用提供更加精准的客户信息，方便一线业务人员为客户带来更加个性化、定制化的服务体验，提升银行客户粘性。
从技术角度出发，面对全量客户海量行为数据，客户行为实时分析系统要达到如下目标：
1)数据要能够实时的采集和存储。
2)数据要能够实时计算和分析。
3)实时数据服务能够实时展现和查询。
挑战
客户行为实时分析系统在互联网公司已不鲜见，但在银行领域的建设与应用面临的挑战和需要探索的地方还有很多。
（1）监管挑战
相比互联网领域的客户行为实时分析系统，银行领域将面对更多来自风险管控方面的挑战。银行必须充分保护客户隐私，在监管范围内采集、分析和使用客户行为数据。
（2）性能挑战
银行应用对可用性要求非常高，实时数据采集要在充分保证不影响源系统（例如手机银行、个人网银 等7*24小时面向客户提供服务的系统）的服务性能后，再考虑如何提升数据的实时性，绝对不能影响客户的正常使用。
（3）项目研发模式挑战
银行项目一般是项目管理制，这就需要我们与项目管理部门充分沟通项目需求的特殊性和快速迭代的必要性才能争取到与项目相匹配的开发模式。
（4）系统改造挑战
银行应用多是在银行大数据建设之前即已投入使用，在设计和建设之初无法充分考虑未来的大数据应用规划，因此很多应用的客户操作日志提供信息不全，甚至缺少关键信息记录，巧妇难为无米之炊，这为我们的系统建设带来极大困难。对于缺少关键信息的系统，可能涉及到难度较大的系统改造，有的甚至可能牵一发而动全身，不亚于整个系统的重构，这也为我们的系统建设带来非常大的阻力。这时就非常需要来自领导层敢于改革的魄力、业务人员渴望创新的决心和配合系统相关同事的理解。
（5）技术选型挑战
在技术选型方面，所选技术既要满足实时性能高、可扩展性强、稳定性好、高可用、配置灵活易管理等要求，又要考虑与现有的大数据平台无缝整合的问题，需要满足的条件很多、技术选型难度很大。
（6）复杂的日志采集与传输模式挑战
需要采集日志的终端，不仅有实体机，也有部署于OpenStack云平台的虚拟机，针对不同的终端需要研发不同的日志采集功能；数据传输物理上跨数据中心、同中心内跨多个网段，在复杂的网络传输环境下，如何保持数据传输结果一致性也是一个很大的挑战。
实施过程/解决方案
（1）实时流处理平台解决方案
客户行为实时分析系统的核心是对客户行为数据的实时采集、实时计算和实时查询服务。但站在全行大数据建设角度看，需要实时处理的数据并不仅限于客户行为数据，因此首先需要构建基础的大数据实时流处理平台。通过实时流处理平台的建设，构建全行统一的实时数据应用平台，结合恒丰银行基于大数据平台的新数据仓库，实现对行内多项业务的全方位支持。
以此平台为基础，可以为各种关注不同业务主题的应用提供实时流处理服务，客户行为实时分析系统也是平台之上的诸多应用之一。大数据实时流处理平台的整体逻辑架构如下图所示：
大数据实时流处理平台的整体逻辑架构
平台整体逻辑架构划分为：数据源层、平台层、流计算层、分布式实时数据总线服务层、应用层五个逻辑层次。其中：
数据源层:提供多种形式的数据实时采集功能，向平台推送数据。
平台层:一方面对所有组件做了模板化封装，以方便灵活部署在Docker容器或VM虚拟机上，使平台具备弹性扩展能力，另一方面实现与恒丰银行大数据平台无缝对接，将结果数据写入大数据平台或者从大数据平台实时获取数据。
流计算层:是整个平台的核心层, 底层基于恒丰银行自主研发的Skyline开发框架构建，除实现了基本的流处理计算功能外，还构建了Streaming SQL模块，分析人员可以通过该模块直接在流上执行SQL语句，进行流上的数据关联查询；Streaming MLlib模块提供了机器学习模型在流上的植入功能，可以将构建的数据挖掘模型随时运行在流平台之上；Streaming Cube模块可以通过流实时构建多维度数据分析的数据立方体，进而在Cube上进行数据下钻、上卷等多维度切片分析。综上所述，流处理平台即支持OLTP的实时类业务应用，也支持近实时OLAP分析类业务应用，且支持数据挖掘类业务应用。
分布式实时数据总线服务层：为流处理平台对外提供基础服务层，每个服务均以微服务的方式部署发布，具有弹性扩展和高可用特性。
应用层：该层主要体现流处理平台在恒丰银行现阶段支撑的业务应用。
流处理平台主要技术组件及部署架构图
流处理平台使用的主要技术组件及其在两个数据中心部署的架构如上图所示。其中：Zookeeper集群，主要负责配置流处理平台管理和任务队列管理功能；Flume Collector集群，主要负责流处理平台文件类数据的接入工作；Streaming集群，为流处理平台的核心组件集群，主要负责数据流处理功能；Kafka集群，主要负责消息订阅与消息传输缓存功能；Redis集群，主要负责消息订阅，数据分析及数据查询功能；大数据平台集群，主要负责数据的存储、同步和数据分析挖掘等功能。
（2）客户行为实时分析系统架构
前端应用（如手机银行系统、网银系统等）客户操作日志是文件类数据，对于这类文件类数据流处理平台主要采用Flume client & server 模式，因此前端业务系统需要部署agent实时采集数据，Flume Collector 负责收集各agent数据，再将数据发送至流处理平台，随后由流处理平台负责数据过滤、数据解析、数据补全等实时处理工作，最后应用层的客户行为实时分析系统负责对实时性指标进行实时分析，对于非实时性指标则进行离线分析，并最终将分析结果以图表形式展现给。客户行为实时分析系统整体逻辑架构如下图所示：
用户行为实时分析系统的整体逻辑架构
（3）微服务化和Docker容器化
客户行为实时分析系统还做到了微服务化和Docker容器化。我们将Akka微服务架构的集群负载，服务监控、故障恢复与弹性部署能力结合恒丰银行数据中心PAAS云平台采用的Docker容器技术对应用级负载、监控、弹性资源分配以及快速部署能力相结合，对客户行为实时分析系统的Xitrum、JDBC、 Redis 等功能组件进行了拆分，实现了整个应用的Docker容器化。
除了客户行为实时分析系统，流处理平台使用的flume、kafka、zookeeper等开源组件也实现Docker容器化并使用恒丰银行DevOps工具服务，从开发、构建、测试到版本发布的全流程自动化，中间提供包括计划、任务分配跟踪、问题跟踪、文档管理、版本发布全过程的项目协作支持
（4）数据应用
通过深入了解业务需求，从营销角度、风控角度、客户体验角度三个主要业务视角，我们主要设计了以下功能模块：
营销角度，既有为当前业务运营发展提供数据支持的客户规模和质量、渠道运营分析模块、实时状态跟踪、分析中心等功能模块，也有为未来业务营销发展打下数据基础的个体行为分析、客户属性分析 等功能模块。具体介绍如下：
客户规模与质量：通过分析某些功能模块的客户使用情况，了解客户产品偏好，分析客户结构和质量信息，从而为银行业务决策打下数据基础。
渠道运营分析：联动多个应用的使用情况，提供整体的运营分析情况。
实时状态跟踪：通过实施检测当前客户使用应用的情况，可实时发现例如服务异常等突发事件情况，从而做到及时预警，为事件预警和处理赢得时间。
分析中心：为业务定制化输出各类分析报告，满足业务日常运营需求。
个体行为分析：把单个客户的行为分析单独统计分析，从而为反欺诈、精准营销等提供数据基础。
客户属性分析：通过分析客户常用应用终端、客户常用地域等，分析客户基础属性信息，从而为交易反欺诈、精准营销打下数据基础。
风控角度：主要有个体行为分析、客户属性分析 等模块，具体上文已描述。
客户体验角度：从提升客户体验角度出发，为行内应用优化方向提供数据证据的有客户参与度分析、功能分析 等模块。具体介绍如下：
客户参与度分析：通过获取客户的使用时长、访问深度、应用各功能模块的使用等情况，分析客户应用使用情况信息，从而为应用优化等打下数据基础。
功能分析：分析某个应用的客户最常用路径，了解客户常用行为，从而为优化路径提供数据说明。
结果/效果总结
客户行为实时分析系统填补了恒丰银行在客户行为分析方面的空白。业务人员第一次能够直面感受和了解客户真实的应用使用行为状态。例如：
（1）客户规模与质量——活跃客户指标（部分）
活跃客户指标之基金、理财模块客户每日活跃、每周活跃情况
通过分析理财、基金等功能模块的客户活跃指标，观察银行理财偏好客户在全行占比情况，以及理财、基金产品的关注情况，从而更好的了解银行客户的规模和质量。
（2）客户参与度分析——访问时段统计
客户访问时段分布之按小时分布
该功能呈现选定时间段内的登录客户、匿名客户、客户整体访问时段分布情况。如果按小时统计，通过分析可以明显看出每天都会呈现三个客户活跃高峰，分别对应早、中、晚的某个特定时段，其中每天早间时段客户最为活跃。如果按天观察，可以看出，周一、周二客户最为活跃，周六、周日客户最为不活跃。基于此，我们可以让业务更好的制定或优化营销策略，例如加大周一、周二早间时段的渠道营销力度，可能会获得更佳营销效果。
综上，借助客户行为实时分析系统，从全渠道运营上，渠道业务人员能够随时了解渠道系统客户的地域分布、访问时段分布、交易类型分布、关注产品分布、终端使用分布信息等，从而判断产品运营情况，提高产品运营水平；从精准营销上，渠道业务人员能够随时了解单一客户的理财产品偏好、基金产品偏好、地域偏好、功能偏好、访问时段偏好等行为画像信息，从而为后续精准营销、个性化定制应用、反欺诈等打下坚实数据基础。
基于上述数据积累，我们还在流失预警、客户分群、消费周期模型、理财产品销量预测模型方面也进行了一系列模型挖掘研究。
企业介绍：
恒丰银行股份有限公司是12家全国性股份制商业银行之一，注册地烟台。
近年来，恒丰银行稳健快速发展。截至2016年末，恒丰银行资产规模已突破1.2万亿元，是2013年末的1.6倍；各项存款余额7682亿元，各项贷款余额4252亿元，均比2013年末翻了一番。2014年至2016年累计利润总额312.17亿元，这三年的累计利润总额为以往26年的累计利润总额；服务组织架构不断完善，分支机构数306家，是2013年末的两倍。
近年来，恒丰银行屡获荣誉。在英国《银行家》杂志发布的“2016全球银行1000强”榜单中排名第143位；在香港中文大学发布的《亚洲银行竞争力研究报告》中位列亚洲银行业第5位；在中国银行业协会发布的“商业银行稳健发展能力‘陀螺（GYROSCOPE）评价体系’”中，综合能力排名位列全国性商业银行第7位，全国性股份制商业银行前三；荣获“2016老百姓最喜欢的股份制商业银行”第二名、“2016年互联网金融创新银行奖”、“2016年最佳网上银行安全奖”、“2016年度创新中国特别奖”等多项荣誉。
作为一家肇始于孔孟之乡山东的全国性股份制商业银行，恒丰银行秉承“恒必成 德致丰”的核心价值观，践行“1112·5556”工程，即：一个愿景（打造“精品银行、全能银行、百年银行”）、一个文化（打造“开放、创新、竞争、协同、守规、执行”的“狼兔文化”）、一个目标（五年目标是以客户为中心，以创新为驱动，高效协同，弯道超车，五年内进入全国性股份制商业银行第二方阵；十年目标是要打造一个国际金融控股集团）、两个策略（“植根鲁苏，深耕成渝，拓展中部六省和海西，进军京沪广深”的区域策略和“四轮驱动、两翼齐飞”的经营策略）、“五化”强行战略（国际化、信息化、精细化、科技化、人才化）、“五力”工作方针（忠诚力、执行力、目标力、风险经营力、恒久发展力）、五个引领（人才引领、科技引领、创新引领、效率引领、效益引领）、六大综合能力（价值分析能力、风险鉴别能力、定价能力、创新能力、调研能力、学习能力）；大力实施“12345”行动纲领，即:“1”是做金融综合解决方案的提供商，“2”是金融云平台和大数据平台，“3”是数字银行、交易银行、银行的银行，“4”是龙头金融、平台金融、家庭金融、O2O金融等四大金融创新业务模式，“5”是投行、资管、平台、人才盘点和以“One Bank”为核心的绩效评价体系等五大战略落地工具，致力于做“知识和科技的传播者、渠道和平台的建设者、金融综合解决方案的提供者”，力求打造令人瞩目、受人尊敬的商业银行，为客户和社会提供效率最高、体验最佳的综合金融服务。
数据猿超声波
「2017金融科技商业价值探索高峰论坛」
（点击图片，了解详情）