智能投研发展及应用概述
作者：司南数据 司南智投团队
PwC U.S., Zhiye (Eva) Wang
01
智能投研简介
近年来，智能投研利用科技手段辅助金融投资研究与决策，由于可降低交易成本、提高投研效率、增强分析精准度、排除隐藏风险等多种优势迅速受到金融机构青睐，在资产管理领域发挥着越来越重要的作用。
智能投研综合利用人工智能、区块链、云计算、大数据等热门技术，在深入理解金融业务模式的基础上，赋能于金融金融投资研究、决策、交易与风控等各环节。通过数据挖掘算法模型从各信息源挖掘提取有价值信息，找出其中规律并为金融投研活动提供决策依据；在数据挖掘、规律寻找的过程中，其算法模型也是在不断进行学习迭代；各类算法模型基于对历史数据的挖掘并找出其中的规律，可对投资标的未来的发展趋势做预测，或对风险进行预警，以优化投资决策并加强风险管理。
智能投研是为了自动完成从数据到投资与研究观点的输出，通过数据来驱动投资和研究，为投资决策提供参考。对于金融机构而言，智能投研解放大量基础的投研信息搜集类工作，优化前期信息收集的全面性、高效性。从投研步骤分解来看，AI技术在标的搜索、数据/知识提取、分析研究、观点呈现等各阶段均有应用场景和应用需求。目前在交互体验、数据动态关联、深度学习能力方面已经相比传统投研工具有了质的飞跃，利用智能研报、图谱、智能搜索、语义识别等已经可以自动实现上下游产业链分析、智能财务模型、热点事件影响分析等[1]。
02
智能投研的业务流程
智能投研从宏观到微观视角对经济周期、经济现象、经济数据与市场表现进行全方位综合性分析与研究，深入事物内部，挖掘各事物之间的内在联系，找出各事物的本质规律，从而锁定潜在的投资机会。智能投研可为券商研究部门、基金公司等金融投资与研究机构提供研究与投资决策的智能化助手，为其提供金融研究分析与投资交易的一站式全流程服务。
在智能投研实际业务过程中，主要有以下几个流程步骤：
数据采集：数据采集是进行智能投研业务最基础的环节，在选定相应需采集的数据范围后，需开发各类策略定期不定期进行数据采集并有序存储，以便为智能投研其他业务环节提供相应的数据原料。
数据处理：在上一环节，已经准备好了智能投研业务的基础原料，当然这些都是原始的未经加工处理的基础数据，接下来就需对原始未经加工处理的数据按一定的业务逻辑进行处理，如清洗、筛选、提取、计算等。按一定业务逻辑进行处理后的数据才能够进行相应的分析，以便发现数据或业务的规律和变化。
分析研究：分析研究是智能投研的核心与关键环节，这一环节在前面基础上进行的实质性的业务分析，如趋势分析、时间序列分析、因子分析、事件分析、相关性分析等等。做好这一环节的工作，需深入理解金融投研领域的各业务逻辑与分析逻辑，从而将其内化到智能投研系统中，让智能投研系统具有相应的业务知识与经验。
结果输出：智能投研最终的产出会以观点或报告的形式呈现，为金融投资与研究提供相应的业务与决策支持。这一环节是建立在前述工作基础之上的，是智能投研的成果输出环节，且其成果可以有多种表现形式，如TXT、Word、图表、公众号图文、H5、音视频等，可以适应投研系统以及互联网、移动互联网传播。
03
智能投研的优势
提高效率：在传统投资研究过程中，投研人员需要关注和处理各类纷繁复杂的各类信息，包括行情数据、新闻资讯、行业动态、公司公告、国家政策等等，通过对各类信息的处理与分析，从而给出对标的资产的影响和预期。在引入大数据、机器学习等人工智能技术后，可利用计算机算法模型来快速处理海量的信息，并将相应结果以一定的形式呈现给金融投研人员，可以节省投研人员大量的时间精力，为其更深入的分析研究与投资决策提供必要支持。
降低成本：在传统金融投研领域，其投研人员人力成本极高，并且优秀的投研人员的知识与经验复制推广的可能性低，直接招聘投研人员面临着不小的融入与磨合成本，而内部培养人才则是极其漫长的过程。智能投研相关平台或模型的开发成本虽高，但复制推广和运营成本极低，可将优秀投研人员的知识与经验进行标准化，高效推广，降低不必要的沟通、磨合与培养成本。
理性交易：人都是有情绪的，在分析研究与投资交易过程中，金融投研人员很难做到客观、理性和不受其他非理性因素影响，其分析研究或多或少会带有个人主观色彩，因而在分析研究和投资交易过程中不可避免会存在有失公允和投资失误的情况。智能投研则是按一定的算法模型根据相应的数据进行客观的计算分析与交易决策，不存在人性主观的非理性因素影响，从而让交易更加客观理性。
增强监管：金融投研领域有着严格的合规要求，而人总是会不可避免地犯错误的，金融市场上时不时的发生各种乌龙指事件即是最好的例证。金融合规的要求与人不可避免的犯错存在这天然的矛盾，而这对于智能投研系统来说则完全不是问题。智能投研系统可以将各种监管合规规则全部吸收纳入，并可毫无保留的严格遵守。一方面，智能投研系统可以提高合规监管质量与效率，另一方面也可以辅助研究人员发现风险，及时准确的进行风险预警和规避。
04
智能投研的发展现状
近年来，全球范围内金融科技迅速发展，市场从2008 年的不足10 亿美元增长到2015 年的190 多亿美元，增长幅度近20 倍[2]。在亚洲，根据埃森哲（Accenture）的数据，截至2016 年7 月亚洲金融科技公司筹得资金总额96 亿美元，超过北美同类公司筹集到的46 亿美元。
2020上半年，在新冠肺炎的影响下，全球金融科技投资依旧强劲，总额约231亿美元，与2019上半年相比同比增长3.8%。CB insights（全球领先的风投和募资数据及分析网站）投资数据的分析表明，中国和澳大利亚市场投资收益显著，英国市场也有所增长，缓和了美国和欧洲市场的投资减缓[3]。
美国特许金融分析师协会（CFA Institute）在2019年3月针对734名金融从业者发起了一项有关金融科技的调查，被调查者遍及美洲、亚太地区、欧洲、中东地区和非洲，其中美洲占半数。被调查者从事行业包括证券研究、信用评估、投资管理、首席投资官和私人资产管理。调查结果显示，在过去的12个月中，约半数者在决定投资策略和过程中使用了后验测试（backtesting）和线性回归分析（regression analysis）；约10%已使用更为复杂的人工智能和机器学习，包括使用宏观经济和市场变量来作出买卖决定、使用机器学习信号处理（signals）、利用无监督学习（unsupervised machine learning）检视资产回报等等。调查中，在使用人工智能和机器学习的范围里，最常见的使用情形包括爬取第三方网站数据（例如监管部门网站）、用自然语言处理（natural language processing）读取海量文字、副本和财报、以及使用深度学习来感知新闻媒体里的市场和大众情绪等等[4]。
对于金融机构来说，智能技术的介入，将使得传统投研的各个环节优化和革新，解放大量基础的投研信息搜集类工作，而前期信息搜集的耗时性和不全面，也是传统投研中较为主要的缺陷。另外，通过结构化、模型化的处理方式，智能投研也提升了金融市场海量原始数据的效用和价值。目前智能投研还处于发展初期，官方还没有明确的概念鉴定。综合来看，智能投研是以数据为基础，基于自然语言处理、深度学习等AI技术，将传统投研实现自动化和智能化，用AI技术做数据的获取、挖据、分析等，以提升投研效率。美国在智能投研领域率先进行探索，发展形成了具有较高知名度的几家头部企业，如AlphaSense、Kensho等。
中国自2015年起便将人工智能纳入了国家战略发展规划，从鼓励智能制造，逐步扩展到鼓励AI进行全面的生态赋能。金融作为智能技术落地的最佳场景之一，成为政府关注鼓励的重点方向。2016年至今，有关智能金融、金融科技、金融创新的政策意见陆续面世，智能投研作为其中细分的应用场景，享受着整体利好的大环境。
在金融信息领域，智能技术在赋能金融信息加工上还大有作为。从信息来源看，二级市场公开信息比较全面，但一级市场数据以及另类数据信息仍存在壁垒，未来如果金融数据进一步放开，将有大量的金融信息需要加工；除此之外，市场上还存在大量的新闻舆情、财经资讯报道，以及贴吧、论坛等投资者的声音，目前这些信息都没被利用起来。国内企业主要还是依托于二级市场，推出搜索类、问答类、解析类、风控类等产品，面向金融机构、政府部门、金融中介等不同客户群体。
而中国智能投研行业还处于较为早期的阶段，2015年前后传统金融机构、传统金融数据服务商入局，开始探索，在2017年前后一些创业公司陆续成立，关注度和投资热度均有所提升。智能投研在国内应关注新兴场景、新兴应用、新兴机构，关注增量市场。因为在国内金融领域人力资本相对廉价，同时金融市场规模也相对偏低，传统存量市场没有动力推动智能投研，而在增量市场上，人力的缓慢推进是无法抢占市场和满足需求的，必须借助机器提高效率。
随着新科技浪潮到来，互联网巨头纷纷凭借以往积累的技术和数据先发优势，转型定义自己为人工智能公司或科技公司，并在金融行业进行率先的赋能尝试。以百度为例，2018年初，度小满金融（原百度金融）与易方达基金联合推出易百智能量化基金，旨在帮助金融机构优化投资策略。
大型公募基金，对智能投研有巨大的需求，基于自研系统有成本优势和可定制的特点，大型基金有充足的动力去自研智能投研系统。目前，包括华夏基金、天弘基金、易方达等在内的国内机构，已经有产品切入赛道。
下表为部分智能投研相关公司发展现状：
数据来源：公开资料整理
金融行业是产生海量数据和信息的行业，其中结构化数据的比例极少，大部分以半结构化、非结构化形式杂乱分布。文本主要来源有：公司公开披露、媒体报道、舆情分析等。通过自然语言处理、情感分析等技术，对这些信息进行汇总、清洗、解构，为下一步的前端搜索、问答以及其他形态产品奠定了数据基础。很多智能投研公司都会选择从这一角度切入，从而搭建金融信息服务的多模块产品群，对外免费提供PDF文档解析、图表摘取等初级功能，让更多人体验智能赋予投资研究的方便和快捷。
面对海量数据和爆炸式的信息，高效准确的发现信息的价值点，提高投资和研究效率是关键，金融科技的出现，一方面希望帮助交易环节创造更多财富，而更关键的功能则是协助防控金融风险。控制风险需要同时对产品发行方和持有方进行监控和分析，并且做到事前预警。
智能投研目前正初步介入这一领域，通过另类数据等创新维度的信息抓取、以及将信息结构化的NLP等技术，挖掘不同主体间的有效信息相关关系，并深度分析不同信息对于风险违约的影响程度。比如平安科技的欧拉图谱，可以通过知识图谱将企业、个人、事件、行业之间的连接构建成关系网，发现风险链条、扩散范围、风险隔离距离，以及可能的循环担保圈、资金圈等，在出现异变之前，做出预先的信号提示。
05
智能投研的风险与现存的问题
智能投资的风险表现为多种形式，主要集中于两个方面，即金融风险和业务风险。智能投研之所以仍旧面临相应的风险，究其原因，主要有以下几个方面：
1.金融资产普遍存在风险。不管是智能投研还是传统投研形式，都会面临金融资产本身的风险，而这种风险会是持续存在的。
2.市场可能存在突发或极端情况。智能投研系统在遇到突发的或极端市场情况下，不能够完全保证数据能够及时准确获取、计算分析和结果输出，而这会给金融投资与交易决策带来极大影响。
3.外部不可控风险的存在。智能投研系统可对自己可控范围进行各种风险预警与规避，但由于外部不可控风险存在，智能投研则可能面临力不从心的窘境，如断电断网或服务器设备故障等。
现状看来，智能投研行业一直没有迎来大的需求爆发，即便是入行超过较久的公司，也较难达到盈亏平衡。那么，什么是客户急需解决的问题？为何传统的投研部门没有形成大规模的采购需求？智能投研应用落地难，其问题主要体现在以下方面。
行业概念模糊，市场认知不足。自从智能技术广泛赋能各行各业之后，在金融领域涌现出智能金融、智能投资、智能投顾、智能资讯等新概念。这些概念有的从行业角度出发，有的从场景角度出发，经常会造成用户认知混淆，难以明确定义和区分。同时，市场上也存在一些公司炒作概念，新瓶装旧酒，老系统换个界面当新系统卖的情况。智能投研仍然是一个相对空白、缺乏行业统一认知的新生领域。
智能投研缺乏标杆性应用案例。对于金融机构来说，采购智能投研工具的动力不足，如果仅仅是提高效率、降低成本，这个目标和效果不够吸引人的，因而也就没有急迫的动力推进相应的变革。从成本方面分析，金融机构实习生的人力成本极低，相对而言，引入一套智能投研系统的采购和学习成本，反倒是直接体现在账面上的费用。从收入方面分析，研究所通过服务基金公司拿到佣金收入只是重复固化变现模式，如何实现研究价值的最大化是整个行业都在探索的。采购智能投研产品，很难在短时间内看到其创造的直接回报，通过这一工具来提高收益回报率的目标，中短期内也难以达到。
智能投研的一个重要应用即智能投资，而智能投资最常见的表现形式即为量化智能交易。智能交易是指由电脑模拟交易员的下单操作进行机器交易的过程。智能交易按照预先设置好的交易模型和规则，根据市场行情和信息触发交易机会，由计算机瞬间完成组合交易指令，实现自动下单。在交易时可利用实时交易信息，找到恰当的时机及数量进行交易，以减少交易成本及减少市场波动，并极大地减少了交易员情绪波动对交易决策的影响，特别是避免在市场极度狂热或悲观的情况下作出非理性的交易决策。
总的来看，智能投资面临的主要风险有：
模型管理不足导致成功率较低。量化专家分析发现，对冲基金失败主要原因如下：量化策略一尘不变、追求时间序列平稳性而丢掉重要特征、回测模型理想化、交叉验证有缺陷、回测过拟合等问题。
资产交易规则及种类灵活性较差。美国金融市场起步较早、发展成熟，金融标的丰富，金融资产交易规则对算法模型交易有较好的支持。国内金融市场有待进一步提升，金融产品有待丰富。如国外有较多的外汇交易产品，国内则鲜有此类产品可供投资交易。
模型不能完全适应新常态。市场与经济是在不断变化发展的，历史趋势或规律在未来的特定时期并不一定适用。在不同的经济与市场情景下，我们不同的模式来进行适应和预测。在经济与市场环境出现较大变化的时候，算法模型可能不能紧跟环境与状态的变化而做出相适应的调整，从而不能够准确的对经济金融与市场形势做出研判。
不能对极端或未知情况自动化处理。学界的研究中往往对数据进行缩尾处理，以剔除极端数据。由非极端建立的模型并不能很好地解释及应对极端情况。但现实市场交易中会遇到极端情况，此时利用现有模型可能会做出错误决策。
06
开展智能投研业务的意义
智能投研存在的上述问题要求我们思考，什么是智能投研的真正价值？对于金融机构来说，投研人员的价值在于其行业积累经验总结出的分析逻辑和投资思路，但这是很少公开也很少被量化的。如果能够通过建立一个金融信息的智能协作系统，将这一环节由个人行为上升到组织行为，进而提高整个机构的资产配置效率和效益，这将是智能投研的一个重要价值。
从产品和业务角度看，智能投研是金融行业的发展动向之一。智能投研可以有效拓展信息的获取渠道，对大量信息进行即时处理，从而提高分析的全面性，同时降低研究人员对于某细分领域的专业知识门槛；智能投研可以完整、理性地揭示事物之间的联系，避免情绪、偏见、知识体系等方面的影响，稳定性较佳；智能投研可以即时呈现观点，此外对于某些涉及大量固定格式的撰写工作，如合规性文件、IPO 文件、研究报告等文件中的某些章节，智能投研可以完成自动化生产。在以上的各个环节中，智能投研可以为投研人员节约大量的时间和精力用于思考和推理等高级分析活动。
从机构角度看，大型金融机构为保持竞争力，依靠其平台优势对智能投研等新技术具有快速试错的能力，可以进行积极探索，获取智能投研产品的主要方式有自建技术、与供应商合作、通过并购获得能力等；中小金融机构通过智能投研可以以较低的成本提升自身投研效率与效益，可以通过对国外案例及国内大机构的模式进行学习和验证，从而决定开展智能投研业务的时机[5]。
07
智能投研的趋势与展望
对于金融机构来说，借助智能投研，投资研究部门不仅能够提高自身研究效率，还能够利用研究成果辅助投资决策。金融机构将自己的投资逻辑和战略融入智能投研体系，从而提高智能投研协助决策的能力。
智能投研在可预见的将来仍将以做辅助工作为主，投研的核心是优秀的投研人员输出观点，根据有效市场理论，正是因为不同投研人员的预期不同，所以才能为客户赚取超额收益，从而跑赢市场。
投研工作中存在大量模式化、标准化的工作，比如研究报告的撰写、合规文件定期报送、重大事件短评、IPO文件部分章节等，这些工作目前主要由初级投研人员来完成，但是投研人员的核心价值是输出观点，用智能技术处理上述工作既可以节约大量人力成本，为投研人员释放更多的时间。
总结来说，智能投研定位于更好地辅助投研人员，未来随着技术的继续推进，在金融行业的渗透率将进一步升高，具有广阔的发展空间。
科技安全不容忽视。技术的发展是螺旋上升的过程，新兴技术具有一定程度的不稳定性，需要及早考虑安全隐患并防范未然。由于大型金融机构进行大量资金的交易，因此更需将错误率降到最低。新技术在发展阶段仍存模型不准确等技术风险。因此在技术的发展阶段还需人的监管，现阶段智能技术应处于辅助角色，未来人工智能与分析师智慧的应用将平衡发展。同时，大型金融机构应时刻重视数据的安全性。现阶段，大数据是智能投资的一大组成部分，为机器学习和后续步骤提供基础。在数据收集阶段应关注数据来源的准确性、全面性，规避数据篡改、二次加工等不安全因素；在数据处理、输出等阶段应关注数据的安全存储、备份。
大型公司与初创公司之间深化合作。大型金融机构与技术型初创公司进行合作可较快获得智能投资技术支持，一些美国大型金融公司进一步以收购技术型初创公司的方式进入智能投资领域。在合作中，大型金融机构借助技术型初创公司的现有基础，并加入自身金融数据优化算法。深化合作将提高双方开发智能投资技术和优化现有模型的效率。
利用不断增长的数据量训练程序，优化现有模型，提高精准度。随智能硬件的升级以及电子化在各行各业的普及，联网设备增加，数据量扩大。更加立体的新增数据将训练现有程序，提高程序对信息的理解力，并优化智能投资的服务，提高行研准确度、风险识别精准度、降低交易成本。
从实践发展来看，智能投研的应用不仅限于投资与研究领域，其对海量信息的提取和关联等能力使其具备进入合规、监管等领域的发展潜力，其技术在其他相关领域亦有着巨大的潜在应用价值。
从数据服务广义的角度看智能投研的市场空间。（1）如果仅从投资机构的付费能力看，智能投顾的市场空间有限。头部的券商和具有一定资产管理规模的投资机构是收入的主要来源，机构数量和资产规模成为主要的限制条件。目前国内传统的金融数据服务被万得基本垄断，市占率超过80%，万得2016年的营业收入为13.3亿元，整个市场规模在20-30亿元左右。（2）间增量空间1：投资机构需求的多元化。从数据层面，从传统的结构化数据向非机构化数据拓展，而非结构化数据的规模占到80%。从服务层面，在数据功能上要不断完善，提高自动化程度，减少简单重复的人工作业；此外数据服务与软件服务相结合，形成综合性的投资管理平台。（3）增量空间2：目标客户的多元化。从金融行业领域来看，除了投研部门之外，金融数据服务的对象丰富，包括投行业务部门、银行信贷部门、监管审核部门等。其他潜在客户还有媒体、企业、政府、法律机构等。
08
案例分析——司南数据
公司成立以来，扎根金融行业，聚焦智能投研领域并已取得了丰硕成果，其中智能研报系统为国内首创。
公司金融产品线依托大数据、人工智能、知识图谱、自然语言处理等领域的先进技术，结合资本市场行业知识，为证券公司等金融机构建设智能投研辅助平台，帮助分析师深入产业链、全面实时把握金融数据与资讯，提高数据与信息处理效率。为基金公司、证券公司业务部门提供优质的数据、技术服务，支持其构建智能投顾助手、机器人客服、量化交易等产品。
司南智投解决方案
1.智能研报系统
司南数据旗下券商智能研报产品，通过大数据、深度学习与自然语言等智能技术，结合各行业逻辑，为券商研报生产提供新模式。国内某大型头部券商为提高研究所研报撰写的质量与效率，积极采用前沿智能数据技术。经过技术选型，与定制化开发，实现该券商研究所日报、周报、月报、财报点评等研究报告草稿的一键化自动生成，省去研究员90%以上不必要的繁杂工作，从而可以把更多时间精力放在报告的核心观点与深度分析上。目前，司南数据的智能研报产品已在多家券商研究所落地使用，大幅提高分析师撰写研报的工作效率。
2.基金业绩智能信披服务
国内某财富管理机构因基金产品业绩披露需要，定期撰写各类基金产品业绩相关的文章，并通过公众号图文等方式推送给投资者。司南数据公司利用自身丰富的数据与成熟的技术，为该财富管理机构提供定制数据技术服务。智能系统可以定时处理各类相关数据，自动生成公众号图文文章，将客户从繁琐、重复的工作中解放出来。智能系统生成的文章内容样式得到了客户的高度认可，并且提高了信息披露工作的准确性和及时性。
3.可视化研报
报告可视化具有广阔的市场，国内某大型头部券商研究所为更好地服务上市公司，实现公告的可视化呈现，与司南数据开展可视化研报的项目合作计划。司南数据利用自身在数据与技术上的深厚积淀，为该券商提供了多种可视化研报方案，数据丰富齐全、UI设计精美独特、沉浸式交互、多种样式随意搭配。该项目一经推出，即获得使用者广泛好评。
4.智能报告审核系统
司南数据智能报告审核系统是基于对实际报告审核业务的深刻理解、利用司南数据在智能报告领域的深厚数据积累和技术优势而开发落地的智能报告审核系统，可一键自动识别审核各类财务数据、文档要素、数据一致性、估值表数据、引用内容等各审核要点，并即时输出报告审核意见和经审核标注的报告文档，可省去95%重复枯燥的人工数据审核校验过程，极大地提高报告审核效率。