spass modeler

课时1：SPSS Modeler 简介

---

　　本课时一共分为五个模块，分别是Modeler概述、工具安装、窗口说明以及功能介绍和应用案例。相信通过本课时内容的学习，大家将会对SPSS Modeler有个基础的了解.

　　在学习本节课内容之前，先来看看本节课我们究竟要学什么，以及给大家制定了哪些目标。

本节目标

• SPSS Modeler概述
• SPSS Modeler工具安装
• SPSS Modeler窗口说明
• SPSS Modeler功能介绍
• SPSS Modeler 应用案例

　　首先，需要大家学习SPSS Modeler概述部分，这一部分主要介绍SPSS Modeler是什么、有什么特点、有什么优势等内容，让大家先对SPSS Modeler有个基本的认识；

　　然后，再带领大家了解一下SPSS Modeler如何安装下载，以及界面介绍和功能介绍为后面的学习先打下基础；

　　最后，就是通过一个简单的示例，带领大家使用SPSS Modeler实现一个基本分析，让大家对SPSS Modeler数据分析有个初步的体验。

　　那下面咱们先来学习SPSS Modeler概述的相关内容。

任务一：SPSS Modeler概述

1.SPSS Modeler基本认识

　　IBM SPSS Modeler 是一组数据挖掘工具，通过这些工具可以采用商业技术快速建立预测性模型，并将其应用于商业活动，从而改进决策过程。

　　SPSS Modeler 提供了各种借助机器学习、人工智能和统计学的建模方法。通过建模选项板中的方法，您可以根据数据生成新的信息以及开发预测模型。

2.SPSS Modeler的特点

• 01强大的数据读取功能
• 02丰富的数据处理方法
• 03图形化的数据探索方式
• 04核心的数据挖掘算法
• 05简洁直观的模型评估
• 06性能卓越的三层体系架构

3.SPSS Modeler的软件优势

1. Modeler软件全程拖拉操作，可设置为简体中文，与Python等软件相比不需要编程
2. 学习周期短，可以连接各种数据源做分析，自动化分析
3. 不需要精通《统计学》，黑箱算法，容易学会高级分析师必备数据挖掘能力
4. 处理大数据（对于Excel，SPSS，数据库处理不了的算法可以处理）
5. 简单使用（对于R语言、MATLAB、SAS 处理繁琐）， Modeler 支持 R 和 Apache Spark（通过 Python）

统计分析和数据挖掘

moderl暗转

之后一路确定

基操

打开原有演示流

各个功能区

数据挖掘方法论：先找数据源，对数据源进行清洗处理，

数据量大可以建立缓存节点

基本案例

文件格式

流选项卡中

.str数据流的磁盘文件拓展名。比如我们做了这个数据之后，要保存成这个流的形式。那就直接可以在这个moouler当当中打开

.cou,呢就是在输出选项卡当中报表和图形结果的磁

盘文件拓展名。

.gm呢它是在吧建模选项卡中阿健模之后计算的，这个结果呃我们呃它的这个文件的拓展名。

.gen的话它是旋向板的这个呃磁盘的文件拓展名。

课时2：SPSS Modeler 数据读取

---

　　本课时一共分为两个模块，先来了解一下SPSS Modeler的变量类型有哪些、之后介绍数据文件怎么样读取。相信通过本课时内容的学习，大家会学会SPSS Modeler数据的读取。

　　在学习本节课内容之前，先来看看本节课我们究竟要学什么，以及给大家制定了哪些目标。

本节目标

• 变量类型
• 数据读取

　　首先，需要大家了解SPSS Modeler的数据类型都有哪些，这一部分主要从数据挖掘和数据存储角度介绍SPSS Modeler中的数据类型；

　　其次，再学习外部各种形式的数据文件如文本文件、Excel文件、SPSS文件怎么读取至SPSS Modeler当中，当然这一课时也是为后面的学习打下基础。

任务一：变量类型

1.数据挖掘角度

变量类型反映了其代表事物的某种特征的类型。可分为以下3类：

• 数值型
• 定类型
• 定序型

2.数据存储角度

变量类型反映了在其计算机中的存储格式。通常，不同类型数据存储所占用的字节数是不同的。

• 整数型
• 实数型
• 字符串型
• 时间型
• 日期型
• 时间戳型

3.SPSS Modeler中的变量类型展示

任务二：数据读取

1.“源选项卡”

读数据的节点放置在节点工具箱窗格的“源”选项卡中。

需要注意：读数据的节点没有数据显示功能。

因此，当参数设置完毕后，如果希望浏览数据内容，应选择“输出”选项卡中的表格节点。

2.读取自由格式的文本文件

步骤：【源】-【变量文件】-【编辑】，注意：字段界定符和编码的选择。

包含【文件】-【数据】-【过滤器】-【类型】-【注解】5个选项卡。

读excel电子表格数据

步骤：【源】-【Excel文件】-【编辑】-【确定】

包含【数据】-【过滤器】-【类型】-【注解】4个选项卡。

【选择工作表】-【工作表范围】-【对于空行】

【过滤器】-【类型】-【注解】与前述一致。

4.读SPSS格式文件

步骤：【源】-【Statistics文件】-【编辑】-【确定】

包含【数据】-【过滤器】-【类型】-【注解】4个选项卡。

【变量名】-【值】

【过滤器】-【类型】-【注解】与前述一致。

读数据库文件

两步骤：【建立数据源】-【访问数据库】

【控制面板】-【管理工具】-【数据源ODBC】

【源】-【数据库】-【编辑】-【确定】

驱动

6.数据读取数据流总结

课时2.2：SPSS Modeler 数据清洗

---

　　本课时一共分为3个模块，分别是缺失值处理，异常值处理、重复值处理。相信通过本课时内容的学习，大家会学会SPSS Modeler数据的清洗。

　　在学习本节课内容之前，先来看看本节课我们究竟要学什么，以及给大家制定了哪些目标。

本节目标

• 缺失值处理
• 异常值处理
• 重复值处理

　　数据清洗大致分为3个方面，首先，给大家介绍数据缺失值的清洗过程，包括缺失值的定义、缺失值分析、缺失值处理等等；其次，再学习异常值分析，先学会怎么样发现异常值，再对异常值进行分析处理；最后对数据中的重复值进行分析处理，当然这一课时也是为后面的学习打下基础。

　　

　　那下面咱们来学习SPSS Modeler 数据清洗的相关内容。

任务一：缺失值分析与处理

1.缺失值定义和产生原因

缺失值就是指数据文件中的某些数据项是未知的值。

缺失值产生原因分为机械原因和人为原因

2.缺失值类型

从缺失的分布分类

• 完全随机缺失
• 随机缺失
• 非随机缺失

从缺失的所属属性分类

• 单值缺失
• 任意缺失
• 单调缺失

3.缺失值案例数据准备

数据选取了【模拟数据1.txt】

从下图中我们可以看到编号有些记录的值是缺失的。

首先是把该文件读入Modeler中。

4.审核数据

利用输出选项卡的【数据审核】节点审核数据，其中就包括数据原有缺失值的信息。

之后我们就将【数据审核】节点加入到我们的 数据流中来，连接【变量文件】节点和【数据审核】节点，运行数据流，我们可以得到下图：

观察有效列获取有用信息

5.缺失值定义

步骤：双击【变量文件】节点，选择类型页。在类型页里我们发现有一列名为【缺失】。

在电话这一列点击【缺失】这以一空白项。 指定缺失值。

6.再次数据审核

这次我们可以发现电话这一项的有效数据变成了 18. 说明我们定义的缺失值成功了。

7.缺失值处理--删除

操作:

对记录进行删除-删除单行

【质量】-【生成】-【缺失值过滤节点】-【包括/排除】

对字段进行删除保留操作

8.缺失值处理--插补

操作：

【质量】-【缺失插补】-【方法】

【生成】-【缺失值超节点】

9.缺失值处理结果审核

再次连接数据审核运行数据流,数据质量显示完整字段为75%，完整记录为90%。

任务二：异常值分析与处理

1.异常值定义

异常值是在数据集中与其他观察值有很大差距的数据点，它的存在，会对随后的计算结果产生不适当的影响，因此检测异常值并加以适当的处理是十分必要的。

2.异常值类型

单字段异常值：某条或多条记录的单个变量出现异常

多字段异常值：某条或多条记录的多个变量出现异常

3.异常值数据准备

数据准备：选取【源】选项卡-【变量文件】节点读入【模拟数据2txt】，用【表格】查看数据。

4.异常值确定1-数据审核

首先可以选择通过【数据审核】确定。

5.异常值确定2--散点图

步骤：x轴和y轴选定组合，读取文件-【图形】-【散点图】，明显偏离分布的数据组合即为异常值。

6.异常值处理

步骤：连接到【数据审核】-【运行】-【操作】-【强制替换离群值/丢弃极值】

这里以“收入”为例，进行异常值处理。

选择需要调整的变量行，选择【菜单】-【生成】-【离群值和极值超节点】

7.异常值处理数据流

任务三：重复值分析与处理

1.重复值定义与类型

数据集中的重复值包括以下两种情况：

数据值完全相同的多条数据记录。

数据主体相同但匹配到的唯一属性值不同。

下面是重复值案例数据：

2.重复值处理-区分节点

去重是重复值处理的主要方法，主要目的是保留能显示特征的唯一数据记录。

3.重复值处理后结果

数据去重之前是20条记录，去重操作之后只有7条记录，说明有13个电话值重复。

IBM SPSS Modeler 18.3

一文详解IBM SPSS Modeler 18.0安装教程_三桥君的博客-CSDN博客