机器学习 - 相关概念与实现流程 / 四六文摘

一个重要的闭环：

机器学习-数据挖掘的流程（CRISP-DM）：围绕数据进行如下6个活动进行闭环式地探索活动

商业理解
数据理解
数据准备
建立模型
模型评估
方案实施

一个重要的概念：

特征工程：最大限度地从原始数据中提取特征以供算法和模型使用，包括如下几个主要部分：

数据预处理：标准化、缩放、缺失、变换、编码等
特征产生：结合业务数据、派生新的特征
特征选择：通过各种统计量、模型评分等，筛选合适的特征
降维：PCA、LDA等减少特征个数

两个重要的算法：

决策树：

构建决策树

如何“选择当前最佳特征”：

其中包含的主要概念：

信息熵：信息论理的概念，香农提出；描述混乱程度的度量；取值范围：0~1（值越大，越混乱）。计算公式如下：

信息增益：信息是确定性的增加；从一个状态到另一个状态信息的变化；信息增益越大，对确定性贡献越大。

决策树算法的主要分类：

ID3系列（Iterative Dichotomiser 3, 迭代树三代）：核心是信息熵，根据信息增益决策树的节点；存在一些问题：信息度量不合理-倾向于选择取值多的字段；输入类型单一 - 离散型；不做剪枝，容易过拟合。
C4.5：和ID3相比的改进：用信息增益率代替信息增益；能对连续属性进行离散化，对不完整数据进行处理；进行剪枝。
C50：C4.5相比的改进：使用了boosting; 前修剪、后修剪
CART（Classification and Regression Tree）: 核心是基尼系数（Gini）；分类是二叉树；支持连续值和离散值；后剪枝进行修剪；支持回归，可以预测连续值

决策树的具体施行：
集成学习：针对同一数据集，训练多种学习器，来解决同一问题。
Bagging: 有放回抽样构建多个子集；训练多个分类器；最终结果由各分类器结果投票得出；（实现非常简单）。

Boosting: 重复使用一类学习器来修改训练集；每次训练后根据结果调整样本的权重；每个学习器加权后的线性组合即为最终结果。

AdaBoost:

其他实现方法：

Stacking: 由两级组成，第一级为初级学习器，第二级为高级学习器；第一级学习器的输出作为第二级学习器的输入。

随机森林：

由许多决策树组成，树生成时采用了随机的方法；Smart Bagging；生成步骤：1.随机采样，生成多个样本集；2.对每个样本集构建决策树。

其优点包括：可以处理多分类；不会过拟合；容易实现并行；对数据集容错能力强。

参考 - 1. R语言运用随机森林的例子：

###################################################
### Gene (Feature) Selection 基因特征选择： 1.过滤方法；2.封装方法
###################################################
if (!requireNamespace("BiocManager", quietly = TRUE))
  install.packages("BiocManager")
BiocManager::install(version = "3.11")
BiocManager::install(c("Biobase", "genefilter"))
BiocManager::install(c("ALL"))

library(Biobase)
library(ALL)
data(ALL)

ALLb <- ALL[,tgt.cases]

rowIQRs <- function(em)
  rowQ(em,ceiling(0.75*ncol(em))) - rowQ(em,floor(0.25*ncol(em)))
plot(rowMedians(es),rowIQRs(es),
     xlab='Median expression level',
     ylab='IQR expression level',
     main='Main Characteristics of Genes Expression Levels')

library(genefilter)
ALLb <- nsFilter(ALLb,
                 var.func=IQR,
                 var.cutoff=IQR(as.vector(es))/5,
                 feature.exclude="^AFFX")
ALLb <- ALLb$eset
es <- exprs(ALLb)
dim(es)

#ANOVA过滤
f <- Anova(ALLb$mol.bio,p=0.01)
ff <- filterfun(f)
selGenes <- genefilter(exprs(ALLb),ff)

sum(selGenes)
ALLb <- ALLb[selGenes,]
ALLb

es <- exprs(ALLb)
plot(rowMedians(es),rowIQRs(es),
     xlab='Median expression level',
     ylab='IQR expression level',
     main='Distribution Properties of the Selected Genes')

# 用随机森林（适合用于处理包含大量特征的问题）进行过滤：随机森林由一组决策树构成，取决于分析的问题采用回归树还是分类树 - 每棵树都是通过自助法抽样（从原始数据集中用有放回抽样法随机抽取N个个案）进行训练
# 对于回归问题，采用每棵树的预测值得平均值作为这些组合的预测值。对于分类问题，则采用投票机制
featureNames(ALLb) <- make.names(featureNames(ALLb))
es <- exprs(ALLb)

library(randomForest)
dt <- data.frame(t(es),Mut=ALLb$mol.bio)
rf <- randomForest(Mut ~  .,dt,importance=T)
imp <- importance(rf)
imp <- imp[,ncol(imp)-1]
rf.genes <- names(imp)[order(imp,decreasing=T)[1:30]]

sapply(rf.genes,function(g) tapply(dt[,g],dt$Mut,median))

library(lattice)
ordMut <- order(dt$Mut)
levelplot(as.matrix(dt[ordMut,rf.genes]),
          aspect='fill', xlab='', ylab='',
          scales=list(
            x=list(
              labels=c('+','-','*','|')[as.integer(dt$Mut[ordMut])],
              cex=0.7,
              tck=0)
            ),
          main=paste(paste(c('"+"','"-"','"*"','"|"'),
                           levels(dt$Mut)
                          ),
                     collapse='; '),
          col.regions=colorRampPalette(c('white','orange','blue'))
          )

#用特征聚类的组合进行过滤
library(Hmisc)
vc <- varclus(t(es))
clus30 <- cutree(vc$hclust,30)
table(clus30)

getVarsSet <- function(cluster,nvars=30,seed=NULL,verb=F)
{
  if (!is.null(seed)) set.seed(seed)

  cls <- cutree(cluster,nvars)
  tots <- table(cls)
  vars <- c()
  vars <- sapply(1:nvars,function(clID)
    {
      if (!length(tots[clID])) stop('Empty cluster! (',clID,')')
      x <- sample(1:tots[clID],1)
      names(cls[cls==clID])[x]
    })
  if (verb)  structure(vars,clusMemb=cls,clusTots=tots)
  else       vars
}
getVarsSet(vc$hclust)

2. R语言数据科学包列表： https://www.cnblogs.com/yxmings/p/14213573.html　　

机器学习 - 相关概念与实现流程

相关推荐