360大数据中心副总经理傅志华：2017年大数据发展的十大趋势
2016年，大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年，大数据依然处于理性发展期，大数据发展依然存在诸多挑战，但前景依然非常乐观。
作者 | 傅志华
本文长度为5000字，建议阅读10分钟
本文为数据猿年关策划活动《大数据的2016，我的2016》系列稿件，感谢本文作者 360大数据中心副总经理 傅志华 先生的投稿。
敬请期待2月16日，由数据猿与中欧商学院、腾讯视频共同举办的高端领袖线下演讲栏目中欧微论坛之《超声波》。
2016年，大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年，大数据依然处于理性发展期，依然存在诸多挑战，但前景依然非常乐观。2017年大数据的发展呈现十大趋势：
趋势1：越来越多的企业实现数据孤岛的打通，驱动大数据发挥更强的威力
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不通，导致企业内部数据无法打通。若不打通，大数据的价值则难以挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。
刚刚过去的2016年，无论是企业还是政府机构，都在不同程度的展开了大数据的工作，并意识到了内部数据打通，解决内部数据孤岛是启动大数据战略的重要基础。但是，大部分企业和机构内部数据打通的工作做的并不到位。2017年，我们有理由相信，更多企业会有更大的决心去推动内部数据打通，并在此基础上，构建与外部数据打通的基础，实现内外部数据打通，更好的发挥大数据关联和整合的业务价值。
趋势2：大数据在企业管理中落地，大数据和企业精细化经营结合更为紧密
很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又为非盈利部门，导致很多企业在搭建大数据部门时犹豫不决，或者处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘数据资产。
甚至由于数据没有应用场景，企业删除了很多有价值的历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。
一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。2016年，大数据在互联网、电信、金融、零售等行业取得了较好的效果。在2017年的经济大环境下，更多的企业和机构会更注重精细化经营，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，驱动业绩增长。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。
趋势3：大数据已经成为企业或机构的无形资产，将成为企业参与市场竞争的新武器
在移动互联网和大数据时代，每一个企业日常运营中所产生的大数据都将成为企业最为重要的无形资产。随着2017年大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。如何有效的管理企业每日所产生的数据，从海量的数据中挖掘并沉淀有价值的数据，并把这些有价值的数据作为驱动业务增长的重要引擎，均为数据作为无形资产管理的重要任务。
Google、亚马逊、腾讯、百度、阿里巴巴和360、今日头条等互联网企业通过不断的挖掘和沉淀大数据，利用大数据驱动业务的增长；金融和电信企业也在运用大数据来提升自己的竞争力。这些企业均有一个共同的特点，即成立了大数据部门对企业大数据做重点管理和应用，真正的把大数据作为无形资产管理和应用起来。
我们有理由相信，在2017年越来越多的企业和机构将大数据定位为企业的无形资产，并对大数据无形资产做系统化的管理和应用。大数据作为无形资产将成为提升机构和企业竞争力的有力武器。
趋势4:大数据能力产品化，驱动越来越多自助服务出现
大数据能力在企业应用时，需要以非常简单易用的方式来呈现，才能让更多的数据用户使用。企业数据用户（往往是业务、产品、营销负责人等非大数据专业人士）在实际运用大数据的时候，更关注的是大数据的产品在哪些方面可以直接帮助提升绩效，不需要关注大数据产品背后的分析模型等“黑洞”。因此大数据在业务具体的场景运用时，关键是把大数据分析能力产品化，构建简单易用的数据产品。
另外，随着大数据专家的成本上升，越来越多的企业也会寻求简单易用成本相对较低的第三方数据产品。国际知名咨询机构IDC预测，可视化数据发现工具的增长速度将比商业智能(BI)市场的其余工具快2.5倍。到2018年，投入于支持最终用户自助服务的这种工具将成为所有企业的要求。诸多大数据厂商已经发布了拥有“自助服务”功能的大数据分析工具。
趋势5：大数据算法越来越智能化，深度学习将更为普及
知名IT研究与顾问咨询公司Gartner认为，机器学习是2017年的十大战略技术趋势之一。在2017年，随着大数据分析能力不断增强，越来越多的企业开始投入于机器学习，并从中获益。企业可以通过机器学习算法识别潜在客户，或识别即将流失的客户，或识别营销推广中作弊的渠道，或及时发现关键KPI下跌的原因等。总之，机器学习可以驱动企业运营更加智能化。
我们认为，随着机器学习的大规模应用和发展，越来越多的企业将使用深度学习算法，使用深度学习算法将会使得预测更为准确。深度学习是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法，互相关联的多层级为深度学习提供了“深度”，相较于传统的机器学习算法来说，是一个巨大的进步，尤其是卷积神经网络等深度学习算法，将会越来越受欢迎。
趋势6:大数据和人工智能深度融合，成为人工智能发展的重要驱动力
AlphaGo是2016年最令人深刻的人工智能研究成果，AlphaGo引起了大家对人工智能的高度关注。但是，人工智能的发展还停留在弱人工智能阶段，目前很难超越人类认知能力，甚至也达不到与人类匹配的认知能力。但我们不可否认人工智能在实践中的进步，比如语音识别和图像理解方面的进步。企业可以在合适的场景中运用这些逐渐成熟的语音和图像识别的技术。
未来人工智能的发展，取决于两个方面：一方面是深度学习算法技术的成熟和计算效率的提升；另一方面取决于海量数据或大数据的发展。这是因为，深度学习算法要发挥作用必须先接受训练。比如，机器要学会识别图片中的狗，必须先被输入一个包含数量上万或者数十万的标记为狗的 “训练集”，这个训练集数量越大，狗的种类越全，机器学习的效果越好。
人工智能专家吴恩达曾把人工智能比作火箭，其中深度学习是火箭的发动机，大数据是火箭的燃料，这两部分必须同时做好，才能顺利发射到太空中。因此，对于深度学习和人工智能，需要越来越多的数据。国际上互联网巨头除了自身业务可以采集到海量的数据以外，正在用更开放的策略吸引第三方的数据输入，以充实其大数据，更好的促进人工智能的所依赖的大数据基础。
趋势7：大数据促进智慧生活和智慧城市的发展
随着大数据与智能硬件的结合发展，大数据将进一步改善我们的生活。
在健康方面，我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量；我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心；
在出行方面，我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优；
在居家生活方面，大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如可以根据室内温度自动调整空调的温度、根据空气质量来决定是否要打开空气净化器等。
同时，随着大数据和智慧城市的融合，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。
智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。
趋势8:工业大数据成为工业互联网发展的重要引擎
工业大数据是指在工业领域信息化应用中所产生的大数据。随着工业信息化的进一步发展，工业企业也进入了互联网工业新的发展阶段。信息技术和大数据分析技术渗透到了工业企业产业链的各个环节，条形码、二维码、RFID、工业传感器等技术在工业企业得到广泛应用，工业企业所拥有的数据也日益丰富，从而进一步形成了工业大数据。工业设备所产生、采集和处理的数据量非常大，而且非结构化数据也非常多。因此，工业大数据的处理和有效挖掘也成为重要的课题。工业大数据应用将成为工业企业创新和发展的重要引擎。
工业大数据在工业企业有诸多方面的应用：
（1）在产品创新方面，企业可以对客户使用产品过程中的行为进行数据上报及分析，以了解客户需求和行为，从而启发创新；
（2）在产品故障诊断与预测方面，企业可以对产品运行过程中的各种关键运行参数实时分析，以实现故障诊断和预测，如GE在航空发动机实现物联网连接，通过传感器把发动机运行时的各种关键参数实施回传到云端进行实时分析；
（3）在工业生产流程优化方面，利用大数据可以掌握某个流程是否偏离标准，快速发出报警及时调优；或监控生产过程中的能耗异常环节，从而进行能耗的优化；
（4）在工业生产故障分析及预测方面，通过智能传感器等数据传输设备，把工业生产流程中关键设备的实时参数状态回传到云端并进行实时分析，实时掌握异常情况，并作出预警和预测，提前进行检测；
（5）在供应链优化方面，对市场数据、客户数据、企业内部数据、供应商数据等相关供应链数据进行集成和关联分析，以实现仓储和配送的优化，提升生产和销售的效率。
趋势9：随着大数据的全方位发展，大数据安全机遇和挑战并存
随着大数据的发展和落地，大数据的安全稳定也将会逐渐被重视。对于拥有大数据厂商来说，最大的挑战就是数据安全；对于安全厂商来说，最大的机遇也是数据安全。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。
大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁 ，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。
另外，在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据、政府机构数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。但是，制约我国数据资源开放和共享的一个重要因素是政策法规有待进一步完善，开放与隐私保护如何平衡。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
趋势10：大数据人才需求增多，越来越多的机构参与到大数据人才培育中
一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。
而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养。
大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。
未来，大数据将会出现约超过百万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向，因此需要高校和企业共同努力去培养和挖掘。
— 关于作者 —
傅志华，中国信息协会大数据分会理事，北京航空航天大学软件学院大数据专业特聘教授，中科院管理学院MBA企业导师，首都经济贸易大学统计学院硕士生导师。
傅志华现任360公司大数据中心副总经理，曾为腾讯社交网络事业群数据中心总监以及腾讯公司数据协会会长。
活 动 预 告
（点击图片查看详情）
注：本文由 傅志华 投稿数据猿发布。