深入了解数据挖掘的基本思想-开课吧

在数据分析中模型是非常有用和有效的工具和数据分析应用的场景，在建立模型的过程中，数据挖掘很多时候能够起到非常显著的作用。伴随着计算机科学的发展，模型也越来越向智能化和自动化发展。对数据分析而言，了解数据挖掘背后的思想，可以有助于建立更具稳定性的模型和更高效的模型。

深入了解数据挖掘的基本思想-开课吧

数据挖掘的别名机器学习和统计学习一样，数据挖掘的实质是通过计算机的计算能力在一堆数据中发掘出规律并加以利用的过程。因此对数据挖掘而言，就需要经历规则学习、规则验证和规则使用的过程。

规则学习又称为模型训练，在这个步骤中有一个数据集将作为训练集。按照相关的算法和输出规则的要求，从训练集中筛选出需要使用的变量，并根据这些变量生成相关的规则。有的时候是将过去已经发生的数据作为训练集，在对比已知的结果和输入的变量的过程中，以尽可能降低输出误差的原则拟合出相应的模型。

深入了解数据挖掘的基本思想-开课吧

当产生了规则后就需要验证规则的效果和准确度，这个时候就需要引入验证集。验证集和训练集具有相同的格式，既包含了已知的结果也包含了输入的变量。

与训练集不同的是对验证集的应用是直接将规则应用于验证集中，去产生出相应的输出结果，并用输出的结果去对比实际情况，以来确定模型是否有效。如果有效的话就可以在实际的场景中应用。如果效果不理想则回头去调整模型。

测试集是将模型在实际的场景中使用是直接应用模型的步骤。在测试中，只包含输入变量却没有像其他两个数据一样存在的已知结果。正因为结果未知，就需要用测试集通过模型去产生的输出的结果。这个输出结果将在结果产生以后进行验证，只要有效模型就会一直使用下去。