捞偏门？浅谈机器学习的一些小众方向
随着 DeepMind 的 AlphaGo 在 2016 年战胜了李世石，“人工智能”这个词开始进入大众的视野。从那时起，不管是大型互联网公司还是初创企业都开始大规模招聘机器学习的相关从业者，无论社招的求职者还是校招的应聘学生都出现了大规模的增长。由于机器学习的人才短缺并且大量应届生涌入，以至于现在某些公司的校园招聘出现了算法工程师简历太多，并且移动端岗位，web 开发岗位的简历略有不足的情况，导致这些互联网公司甚至通过邮件的方式来呼吁应届生尽量修改投递职位。
就这几年的人工智能发展情况和博主的个人经验而言，人工智能可以大致分成以下几个方向：
计算机视觉方向
自然语言处理方向
语音识别方向
机器学习方向
CV，NLP & Speech Recognition
计算机视觉方向（Computer Vision）无论是在学校还是在公司，都有着大量的从业者，并且 ImageNet 项目可以提供上千万的标注图片供大家使用。既然 ImageNet 是开源的数据集，那么无论是学校的教授还是学生，不管是大型互联网公司还是初创企业，都可以轻易地获取到这些数据集，不仅可以进行 CV 算法的研究工作，还可以进行相关的工程实践。由于计算机视觉方向的历史悠久，不管是计算机系，工程系，甚至数学系，都有着大量的老师和相应的学生从事该方向的研究工作，因此，学校或者研究所能够对工业界输出的计算机视觉人才数量也是可观的。
与计算机视觉方向相比，自然语言处理方向（Natural Language Processing）在学校里面也有不少的教授从事相关研究。不过要想让计算机理解人类的语言可不是一件容易的事情。尤其是中文还拥有多音字，语义双关等情形，而且理解中文很可能还要基于上下文来前后推敲。如果和聊天机器人聊过就会发现，其实聊天机器人和人类的聊天给用户的感觉是完全不一样的。语音方向博主不是很了解，也只是道听途说而已，在这里就不在赘述了。
机器学习
除了以上三个方向，人工智能的另外一个研究方向自然就是机器学习了。在周志华老师的教材《机器学习》中，无监督学习，有监督学习，半监督学习，强化学习等方向都已经在该教材中进行了详细的解释。貌似几年前强化学习这个方向也是不温不火，但是在 AlphaGo 崛起之后，深度学习和强化学习就已经开始进入了大多数人的视野。随着围棋被攻克之后，德州扑克AI，或者其他的游戏 AI 也被很多学者和大型游戏公司所关注。DeepMind 也在 2017 年开放了星际争霸的研究平台，今年无论是在 Dota2 还是星际争霸上，游戏 AI 相比之前都有了巨大的突破。
除了强化学习之下的游戏 AI 之外，其实机器学习一直在一个领域发挥着巨大的用处，那就是推荐系统。无论是广告推荐，YouTube 视频推荐，甚至今年非常火的抖音 APP，推荐系统在其中的作用都不容忽视。关于推荐系统的书其实有很多，博主也没有一一读过，不过就近些年的发展状况来看，无论是在学术界还是工业界，从零到一搭建一套推荐系统已经不是壁垒，如何搭建一套结合业务场景的优秀推荐系统才是难题。而推荐系统中常用的各种模型，例如逻辑回归（logistic regression），SVD，ItemCF & UserCF，甚至深度神经网络，在各种开源框架之下（Spark，Tensorflow等），只要拥有足够的计算资源，训练出一个可以使用的模型已经没有太大的难度。难度在于算法工程师如何贴近业务并且理解业务，在此基础上如何使用机器学习算法将内容库里面的优质内容推荐给用户，而不引起用户的反感，点击率如何在合理的范围内进一步提升。搭建一套推荐系统已经不是难题，如何结合多种多样的推荐场景才是关键，怎么结合业务来使用推荐系统则是算法工程师需要思考的问题。
机器学习 安全业务
就博主的个人经验来看，推荐系统或者游戏 AI 其实只是机器学习的一个应用领域。既然机器学习能够应用在推荐系统或者游戏 AI 上，那么为何不能够应用在别的领域上呢？
对于一些大型互联网公司而言，推荐系统能够给用户们带来足够优质的体验，游戏 AI 能够帮助玩家提升自己的技艺。但是在给用户带来优质体验的时候，总有一些黑产用户在伺机而动，通过 APP 的各种 bug 来寻找赚钱的机会，给正常用户带来各种各样的骚扰。在游戏中，有一些人使用了外挂等技术，破坏了游戏中的平衡。在金融行业中，一直都有黑产用户正在进行各种各样违法犯罪的事情，例如信用卡欺诈等，给正常用户带来了不少的损失。在社交网络中，有一些用户通过社交网络传播着各种各样的不良信息，无论是谣言，虚假广告还是各种各样的假冒伪劣产品宣传，都给正常用户带来了不好的体验。因此，安全业务一直是互联网公司和金融公司的重点业务，安全业务一直是保护着互联网公司能够正常运行的基石。各种各样的安全实验室在大型互联网公司里面并不罕见，也是必须要配备的力量。对于业务安全上，无论是盗号，刷帖，传播虚假消息等都是需要关注的对象。在黑产力量日益壮大的情况下，打击黑产的人力也越来越多。随着人力的增多，如何使用机器学习算法来进行人类经验的传承，或者说随着黑产技术的升级如何才能够尽快的提升互联网公司的黑产对抗能力，这些都是值得做的工作。除了互联网公司之外，银行等金融机构也需要进行信用卡的风控评级，打击信用卡盗刷，黑色产业的资金链条挖掘等。因此，银行等金融机构对于业务安全上面的要求有的时候可能比互联网公司还要严格。
能够用在安全领域上的机器学习算法有很多，最容易想到的当然就是异常检测。无论是高维异常检测，还是图（Graph）上的异常检测，都在业务安全领域有着巨大的应用场景。异常检测算法可以从众多的数据中发现数据中的异常点，然后通过人工审核等方式进行数据的标注，并且可以使用有监督学习模型进行训练和上线预测。整体来说，就是使用无监督算法，有监督算法，图挖掘算法等机器学习常见技术来进行恶意黑产的打击工作。对于从事业务安全 机器学习方向的算法工程师来说有一些潜在的优势，那就是业务安全方向是工业界的刚需。但是学术界并不完全有能力培养相关的人才，因为互联网或者金融公司的数据都具有保密性，很难把数据像 ImageNet 一样开放给全世界，共同享受数据带来的巨大优势。如果没有基础的数据，那么学校的教授或者学生就无法接触到这个领域，也就无法在学校提升相关的技术。虽然异常检测等其他机器学习算法会在学术中有所突破，但是安全的业务经验只有在做过相关业务之后，真正地打击过黑产用户之后才能够有更深层次的体会和理解。一个没有接触过安全业务的人，即使他的学术造诣再高，在短时间内也是很难提出一些靠谱想法或者技术方案的。
机器学习 运维业务
在这里做一个不恰当的比喻来方便大家理解。
如果把 APP 比喻成一栋楼房的话，那么后台开发就是搭建钢筋水泥的人，前台开发就是负责刷墙贴砖的人，设计师是负责把这栋楼设计得更加美观的人，安全人员就好比楼房的保卫人员，那么运维人员就是这栋大楼的检修人员。
在一些互联网公司，运维人员也被称为技术运营人员，整体来说就是保障APP或者业务稳定运营的。例如：网络抖动了该怎么办，交换机何时宕机，大量用户无法登陆APP了该怎么办，APP的某个页面无法打开了该怎么办等诸如此类的问题。为了保障业务的稳定运营，就需要有一定数量的技术运营同事来维护整个业务的正常运行。正所谓“天有不测风云，人有旦夕祸福”，公司拥有安全人员和运维人员好比买保险，在没有黑客攻击或者业务正常运行的时候，通常存在感略低。但是一旦业务出了问题，第一个要召集的人肯定就是安全和运维人员。因此，无论是安全工作还是运维工作，都是大型互联网公司和金融机构必不可少的力量。
随着机器学习的发展，智能运维（Artificial Intelligence Operations），也就是所谓的 AIOps，也开始被众多技术公司所关注。提到技术运营工作，根据 2018 年的《企业级AIOps实施建议白皮书V0.6》 的观点，可以大致分成以下三个方向：
质量保障；
效率提升；
成本管理。
其中质量保障就是为了保证业务的正常，高效，稳定地运转。在质量保障的过程中，无法避免的就需要进行异常检测。在运维领域，异常检测的范围非常广，不仅包括大家耳熟能详的时间序列异常检测，还包括多维数据下钻分析，甚至还包括日志模板提取和异常挖掘。除了质量保障之外，效率提升也是一个方面，无论是自动化运维领域还是使用 NLP 的技术来构建智能聊天机器人，甚至使用机器学习等技术来进行智能扩缩容，机器学习技术在运维领域都有着巨大的发挥空间。
在智能运维领域，最重要的任务之一就是时间序列异常检测，这里的时间序列不仅包括服务器的各种各样的指标（CPU，进程，PKG等），还有网络出入流量等交换机数据，甚至包括各种各样的业务指标（在线用户数，失败数，请求量等）。各种各样的时间序列组合在一起就形成了一个时间序列数据库，而且这些时间序列通常来说都是按照分钟量级来收集数据，因此，时间序列项目完全符合机器学习项目的各种条件。在时间序列异常检测或者趋势预测中，时间序列和机器学习，甚至深度学习结合的各种技术都可以在这里有着一定的用武之地。
除了时间序列之外，服务器的异常挖掘，多维度数据分析都是智能运维中非常有挑战的项目。除了质量保障之外，效率提升中的智能聊天机器人将有希望把运维人员从繁重的客服任务中解放出来，智能扩缩容技术将有机会取代原来很多“拍脑袋”所做出来的容量估计。对于一家正常经营的公司而言，质量保障和效率提升只是其中的两个方面，如何有效地进行成本的管理则是非常重要的项目。如果成本预算过少，那么明年的项目发展将会受到限制；如果成本预算过多，那么明年的资源势必造成各种浪费。因此，无论是质量保障，效率提升，还是成本管理，都是技术运营领域的核心问题。
机器学习 其他领域
除了以上博主接触过或者略微了解过的领域之外，其实机器学习在其他的领域应该都是有着自己的用武之地。在量化分析方向，据说有的团队已经开始用机器学习的方法进行股票交易。在化学或者生物学领域，也有学者使用机器学习的方法来挖掘数据之间的信息。总之，除了人工智能在那几个经典领域的应用之外，机器学习的方法应该有希望应用到各行各业中，改变原来的工作方式，提升原有学科的效率。机器学习本身并不是一个新的东西，只要运用得当，机器学习在各行各业都有着强大的创造力和生命力。