知识就是力量:马尔可夫模型

知识就是力量

我非常确切地知道,我的智力不属于人类前20%的那种。所以,余生努力的方向,显然不能放在学术前沿的研究上。更能做出成果的方向,是“六经注我”,然后“我注六经”。也就是集中在这样一个经典问题上:这个模型、这个方法、这个知识在我的实际生活和工作中可以如何落地运用?如何嵌入到我的知识体系当中,融入到我的血液当中?

比如说,今天接触到了一个模型——马尔可夫模型和隐马尔可夫模型。

马尔可夫(1856~1922),苏联数学家。切比雪夫的学生。在概率论、数论、函数逼近论和微分方程等方面卓有成就。

简单地查了资料,这个模型主要应用于语音识别、音字转换、词性标注。隐马尔可夫模型最早的成功应用是语音识别。20世纪70年代,当时IBM华生实验室的贾里尼克领导的科学家,主要是刚刚从卡内基–梅隆大学毕业的贝克夫妇(Jamesand Janet Baker),他们提出用隐马尔可夫模型来识别语音,语音识别的错误率相比人工智能和模式匹配等方法降低了2/3(从30%到10%)。20世纪80年代末李开复博士坚持采用隐马尔可夫模型的框架,成功研发出了世界上第一个大词汇量连续语音识别系统Sphinx。接下来,隐马尔可夫模型陆续成功地应用于机器翻译、拼写纠错、手写体识别、图像处理、基因序列分析等很多IT领域,近20年来,它还广泛应用于股票预测和投资。

这个和我有什么关系呢?第一个关系是,可以使用根据这个模型做出来的产品和工具,比如说IPhone的siri,小米的人工智能音箱“小爱同学”,吉利汽车搭载的语音助手等等。这些产品和工具,给我提供了更丰富的与手机、汽车交互的方式和手段。给生活带来了很大的便利性,同时增添了很多趣味。比如说,开车的时候,想听音乐了,直接说一句:“博越,播放王力宏的音乐”,不到5秒钟,车载音乐播放器就开始播放王力宏的歌。在整个过程中,手不用离开方向盘,眼睛的视线一秒钟都不用离开前方道路。驾驶的安全性就提升了很多,并且非常的方便和流畅。再比如,晚上和宝宝在床上做游戏,二岁的宝宝拿着手机和siri说话,完全不用干预,对话过程极其有趣。宝宝:“siri,你睡了吗?” Siri:'睡觉真是说起来容易,睡起来难啊。'这样一番对话,直接把我们给笑得人仰马翻,顿时整个房间就被我们哈哈哈的笑声给填满了,久久回荡。

除此以外呢?还有什么关系呢?于是进一步找资料,探索,看有没有什么是我能弄明白的,并且弄明白了可以用在生活和工作中的。在探索的过程中,就接触到了这样一些概念:状态;隐藏状态;可观察的状态;状态转移矩阵;时间序列数据;通用的统计工具;统计模型;概率估计;概率模型;链的大数定律;马尔可夫过程;马尔可夫性质;马尔可夫链;随机过程理论等等。有了一些基本的理解和认识。

马尔可夫模型可以归类到《概率论与数理统计》这一学科中,是一个用来做概率估算的模型。这个模型有一个基本的假设,也是马尔可夫为了简化问题,提出的一种简化的假设:随机过程中各个状态Xt的概率分布,只与它的前一个状态Xt-1有关P(Xn+1=x∣X0,X1,X2,…,Xn)=P(Xn+1=x∣Xn)。具体的模型此处不赘述,对于这个模型感兴趣的可自行去找资料,很多。我感兴趣的是这个模型如何用。

举个例子,我今天的健康状态和昨天的健康状态有关系,也和从我出生的那一天开始的每一天的健康状态有关系,这个好理解吧。比如说我犯有某一种先天性的疾病,那那个初始健康状态就会影响我今天的健康状态。如果昨天我感冒了,那么今天感冒的概率也很大。为了简化这个问题,依据马尔可夫假设,就是我今天的健康状态,只和昨天的健康状态有关。同样的,关于工作状态、学习状态、心情状态,也可以以此类推。

马尔可夫链

以上面马尔可夫链举例,如果m1代表星期一的健康状态,m2代表星期二的健康状态,m3代表星期三的健康状态,m4代表星期四的健康状态,连接线上的数字代表概率或权重。通过这个模型我们就可以完成预测和反推。如果有大数据的喂养,经过一段时间的训练(调参),这个模型的预测能力就会越来越强。比如说预测你明天的健康状态。

隐马尔可夫模型,就是在这个模型里,有一个可见状态,一个不可见状态,且可见状态与不可见状态之间唯一相关。

参考书籍

吴军:《数学之美(第三版)》

(0)

相关推荐

  • R语言中的隐马尔可夫HMM模型实例

    原文链接:http://tecdat.cn/?p=17592  最近,我们使用隐马尔可夫模型开发了一种解决方案,并被要求解释这个方案. HMM用于建模数据序列,无论是从连续概率分布还是从离散概率分布得 ...

  • 数学之美——隐含马尔科夫模型

    这是令人兴奋的一个章节. 因为科研中总是充满了马尔科夫. 隐含马尔科夫模型也是机器学习的主要工具之一. 引用这句话的目的也是为了证明这一章节的重要性. 引例: 在通信模型中,信息源发出信号s1,s2, ...

  • 初学者也能看懂的隐马尔科夫模型介绍

    隐马尔科夫模型是(hidden Markov model,HMM)是可用于标注问题的统计学习模型,描述由隐藏的马尔科夫链随机生成观测序列的过程. 隐马尔可夫模型(hidden Markov model ...

  • 马尔科夫模型在我们这里是干什么的?

    今天来把这个比较复杂的问题通俗一下. 对标题比较好奇的朋友,既然点击进来了,无论如何都要看看,是不是觉得HR这个职业有点意思啊,不过看完了也不要有HR这个职业太难做的想法,其实你只要喜欢,就不难了.请 ...

  • 机器学习入门之隐马尔科夫模型

    一个生活中的例子 假设你想捉摸老板每天的心情是好是坏,以此选择一个合适的汇报时机.你每天中午都会和老板一起吃食堂,而食堂午餐只能从川菜.粤菜.东北菜和淮扬菜四种中选择一种.你感觉老板每天心情和午餐吃什 ...

  • 【NLP】用于语音识别、分词的隐马尔科夫模型HMM

    大家好,今天介绍自然语言处理中经典的隐马尔科夫模型(HMM).HMM早期在语音识别.分词等序列标注问题中有着广泛的应用. 了解HMM的基础原理以及应用,对于了解NLP处理问题的基本思想和技术发展脉络有 ...

  • 学术简报|基于马尔科夫模型的直流断路器可靠性评估方法

    会议通知|EITRT 2019 参会注册 长按识别左侧二维码,登录报名网站(先注册网站会员,然后提交报名信息) 会议微信号 摘要 华北电力大学电气与电子工程学院.国网浙江省电力有限公司湖州供电公司的研 ...

  • matlab实现MCMC的马尔可夫转换ARMA - GARCH模型估计

    原文链接:http://tecdat.cn/?p=4241 _状态转换_模型,尤其是_马尔可夫转换_(MS)模型,被认为是识别时间序列非线性的不错的方法. 估计非线性时间序列的方法是将MS模型与自回归 ...

  • Matlab马尔可夫区制转换动态回归模型估计GDP增长率

    原文链接:http://tecdat.cn/?p=19918 本文估计实际GDP增长率的两状态Markov区制转换动态回归模型 . 创建模型进行估计 通过指定转移矩阵和两个区制的AR(0)(仅常数)子 ...