R笔记:多重线性回归(四)_稳健回归

转自个人微信公众号【Memo_Cleon】的统计学习笔记:R笔记:多重线性回归(四)_稳健回归。

【1-3】数据导入>>数据初步考察与处理>>拟合多重线性回归模型

【4】适用条件考察:线性、独立性、正态性、同方差性
【5】模型评估与诊断

【6】稳健回归

线性回归的参数估计主要采用的是最小二乘法(又称最小平方法),该法是将使观测值与模型预测值之差的平方达到最小的值作为参数估计值。如果数据存在异常点或者异方差,最小二乘法估计会存在偏差,常用的处理策略就是改用稳健回归(Robust Regression)。
稳健回归就是采用更为稳健的参数估计方法来拟合模型,所谓稳健就是数据的波动对参数估计影响不大,比如不受异常值影响,或删除某一观测后对结果影响不大。稳健估计的方法有很多,主要有这么几类:最小绝对值回归(也称最小一乘法回归,lAV),最小中位数二乘法(LMS)、最小截尾二乘法(LTS)、M估计、S估计、MM估计,这些方法在R的软件包{robustbase}均有提供。在这些方法中既能保证高的估计效率,崩溃点又可以接受的是MM法。
R中提供了大量的稳健估计方法,可参见介绍https://CRAN.R-project.org/view=Robust
在线性回归的稳健估计中,能实现高效率高崩溃点估计的常用函数有rlm{MASS}lmrob{robustbase}lmRob{robust},但因具体算法有差异,结果也会不同。

lmrob() (robustbase) and lmRob() (robust) where the former uses the latest of the fast-S algorithms and heteroscedasticity and autocorrelation corrected (HAC) standard errors, the latter makes use of the M-S algorithm of Maronna and Yohai (2000), automatically when there are factors among the predictors (where S-estimators (and hence MM-estimators) based on resampling typically badly fail). rlm() from MASS had been the first widely available implementation for robust linear models, and also one of the very first MM-estimation implementations.

本次示例是在拟合多重线性回归模型lmfit,发现有异常点之后的操作。多重线性回归的拟合与诊断请参考《模型拟合》、《适用条件的考察》以及《模型评估与诊断》。采用函数lmrob{robustbase}来实现MM稳健估计. This function computes an MM-type regression estimator as described in Yohai (1987) and Koller and Stahel (2011). By default it uses a bi-square redescending score function, and it returns a highly robust and highly effificient estimator (with 50% breakdown point and 95% asymptotic effificiency for normal errors)
library(robustbase)

rlmfit<-lmrob(bwt~age+lwt+race+smoke+ptl+ht+ui+ftv,data=lmdata,method = "MM")

summary(rlmfit)

结果如下,前半部分是模型稳健回归的结果以及模型的决定系数、校正的决定系数,解读可参考《模型拟合》,模型经过11次的IWLS(iterated re-weighted least squares )迭代便收敛了。后半部分是模型采用的一些算法。

转自个人微信公众号【Memo_Cleon】的统计学习笔记:R笔记:多重线性回归(四)_稳健回归。

END

(0)

相关推荐

  • Stata 多元线性回归模型建立及检验

    --关于这篇笔记,有的人嘴上说着不想写,下笔实际上很快乐. 第一步 导入excel文件 clear #清除所有变量 cd D:\stata_data #数据保存的地址 import excel sam ...

  • R笔记:多重线性回归(三)_模型评估与诊断

    转自个人微信公众号[Memo_Cleon]的统计学习笔记:R笔记:多重线性回归(三)_模型评估与诊断. 在前面的两次R笔记中,我们已经介绍了多重线性回归的 <模型拟合>和<适用条件的 ...

  • R笔记:多重线性回归(二)_适用条件考察

    转自个人微信公众号[Memo_Cleon]的统计学习笔记:R笔记:多重线性回归(二)_适用条件考察.书接上回--我们在<<多重线性回归(一)_模型拟合>>一文中已经建立了回归模 ...

  • R笔记:多重线性回归(一)_模型拟合

    转自个人微信公众号[Memo_Cleon]的统计学习笔记:R笔记:多重线性回归(一)_模型拟合. 多重线性回归模型的最终建立不仅仅拟合个方程就完事了,还需要进行适用条件的考察.模型的诊断以及改进模型的 ...

  • 《绝对网球》读书笔记之十四:抛球的四个关键技术细节

    <绝对网球>的第五章是关于发球,史密斯按发球的步骤将本章内容分成了10个小节.在关于第五章的前三篇读书笔记里,我分别介绍了发球前的准备.发球站位和引拍,今天我们开始本章的第4节内容,介绍抛 ...

  • 高建忠.读方用方笔记(十四)临证谈理中丸

    我们上一节讲到了胃癌术后42天的这个病人,通过我们辩证,属中虚不运,治以健运脾胃为法,处方:生白术15克,党参9克,干姜6克,鸡内金15克,炙甘草3克,七剂水煎服. 我们从上方一看,白术,党参,干姜, ...

  • R笔记:全子集回归 | 最优子集筛选

    转自个人微信公众号[Memo_Cleon]的统计学习笔记:R笔记:全子集回归|最优子集筛选. 在进行多因素回归(多重线性回归.logistic回归.Cox回归等)时,为了得到简洁有效的模型,我们会做变 ...

  • 倪海厦伤寒论笔记(八四)

    伤寒论第71条辨: 太阳病,发汗后,大汗出,胃中干,烦躁不得眠,欲得饮水者,少少与饮之,令胃气和则愈.若脉浮,小便不利,微热消渴者,与五苓散主之. 原文解释:太阳表症,使用发汗法,汗出很多,会使津液受 ...

  • 高建忠.读方用方笔记(二四)临证谈理中丸

    虚寒泄泻,治脾理中丸,治肾四神丸.我们从上一节的案例当中看到,在临床当中,病人用药,症状产生了变化,我们做为一名医生,应该怎么办? 有的时候,可能是我们的处方有问题,有的时候可能是我们抓的药物有问题, ...

  • 倪海厦伤寒论笔记(七四)

    伤寒论第66条辨 发汗后,腹胀满者,厚朴生姜甘草半夏人参汤主之. 原文解释:发了汗以后,致脾虚气滞,腹部出现胀满的,用厚朴生姜半夏甘草人参汤主治. 发汗以后,导致了脾虚气滞,腹部出现胀满,关于胀满,有 ...