数据挖掘课件 吉大DATA MINING(CH1)

数据挖掘课件 吉大

第1章

绪论

《数据挖掘与知识发现》(第2版) 数据挖掘与知识发现》

吉林大学计算机科学与技术学院 李雄飞

数据挖掘课件 吉大

绪 论本章综合讨论数据挖掘的一般知识， 本章综合讨论数据挖掘的一般知识，简要介绍如 下几个方面的内容： 下几个方面的内容： 数据挖掘的基本概念 KDD与数据挖掘 KDD与数据挖掘 数据挖掘的对象与环境 数据挖掘方法与相关领域 数据挖掘系统与应用

数据挖掘与知识发现(第2版)

(25-2)

李雄飞等©2003,2010

数据挖掘课件 吉大

引言 数据存储量急剧上升–NASA轨道卫星上的EOS每小时向地面发回50GB的图像数据 NASA轨道卫星上的EOS每小时向地面发回50GB的图像数据 NASA轨道卫星上的EOS每小时向地面发回50GB –美国零售商系统Wal-Mart每天产生2亿交易数据 美国零售商系统Wal 每天产生2 美国零售商系统Wal-Mart每天产生 –人类基因组项目已经搜集数以GB计的基因编码数据 人类基因组项目已经搜集数以GB计的基因编码数据 人类基因组项目已经搜集数以GB

存储技术的发展–大容量、高速度、低价格的存储设备相继问世 大容量、高速度、 大容量 –数据仓库技术 数据仓库技术 –VLDB技术 VLDB技术 VLDB

面临的问题–信息量过大，超过了人们掌握、消化的能力 信息量过大，超过了人们掌握、 信息量过大 –一些信息真伪难辨，难以正确运用 一些信息真伪难辨， 一些信息真伪难辨 –信息组织形式的不一致性，增加信息处理难度 信息组织形式的不一致性， 信息组织形式的不一致性

新的认识隐藏在数据之后更深层次、更重要的信息能够描述数据的整体特征， 隐藏在数据之后更深层次、更重要的信息能够描述数据的整体特征， 可以预测发展趋势，在决策中具有重要价值。 可以预测发展趋势，在决策中具有重要价值。(25-3)

数据挖掘与知识发现(第2版)

李雄飞等©2003,2010

数据挖掘课件 吉大

数据挖掘技术发展历程数据收集和数据库创建(六十年代或更早) 原始的文件系统 数据库管系统(70 年代~80 年代早期) 层次、网络数据库系统 关系数据库系统 数据建模工具：实体-关系模型等 索引、数据组织技术：B+树，哈希等 查询语言：SQL 等 用户接口：forms 和 reports 查询处理和查询优化 事务管理：并发控制、数据恢复等 在线事务处理(OLTP)

高级数据库管理系统(80 年代中期到现在) 高级数据模型： 关系扩展，面向对象，面向关系，演绎数据模型等 面向应用的数据库系统 空间，时态，多媒体，主动，科学，知识库等

基于 Web 的数据库管理系统(90 年代到现在) 基于 XML 的数据库系统 Web 挖掘

数据仓库与数据挖掘(80 年代后期到现在) 数据仓库和 OLAP 技术 数据

挖掘与知识发现

新一代信息系统集成(21 世纪)

数据挖掘与知识发现(第2版)

(25-4)

李雄飞等©2003,2010

数据挖掘课件 吉大

数据挖掘技术发展历程面对海量数据库和大量繁杂信息，如何从中提取有价值的知识，提高 信息的利用率，引发了一个新的研究方向：基于数据库的知识发现 信息的利用率，引发了一个新的研究方向：基于数据库的知识发现KDD 数据库的知识发现KDD (Knowledge Discovery in Database)以及相应的数据挖掘(Data Database)以及相应的数据挖掘 数据挖掘( Mining)理论和技术的研究。 Mining)理论和技术的研究。

1989年第十一届AAAI学术会议上首次出现KDD一词 1989年第十一届AAAI学术会议上首次出现KDD一词 年第十一届AAAI学术会议上首次出现KDD其后，在VLDB( 其后，在VLDB(Very Large Database)及其他与数据库领域相关的国 Database)及其他与数据库领域相关的国 际学术会议上也举行了KDD专题研讨会。 际学术会议上也举行了KDD专题研讨会。

1995年召开第一届KDD国际学术会议(KDD’95) 1995年召开第一届KDD国际学术会议 KDD’95) 年召开第一届KDD国际学术会议(随后，每年召开一次这样的会议。

1997年《Knowledge Discovery and Data Mining》 1997年 Mining》该领域的第一本学术刊物，由Kluwers Publishers出版发行。 该领域的第一本学术刊物，由Kluwers Publishers出版发行。

1999年召开第三届亚太地区知识发现和数据挖掘国际会议 1999年召开第三届亚太地区知识发现和数据挖掘国际会议这次北京会议将国内数据挖掘的研究推向新的高潮。

随后，KDD的研究工作蓬勃展开 随后，KDD的研究工作蓬勃展开数据挖掘与知识发现(第2版) (25-5) 李雄飞等©2003,2010

数据挖掘课件 吉大

KDD的定义 KDD的定义公认的定义是1996年Fayyad等人提出的。 公认的定义是1996年Fayyad等人提出的。

所谓基于数据库的知识发现(KDD)是指从大量数据 所谓基于数据库的知识发现(KDD) 中提取有效的、新颖的、潜在有用的、 中提取有效的、新颖的、潜在有用的、最终可被理 解的模式的非平凡过程。 解的模式的非平凡过程。 The nontrivial process of identifying valid, novel, useful and ultimately understandable patterns in data.

数据挖掘与知识发现(第2版)

(25-6)

李雄飞等©2003,2010

数据挖掘课件 吉大

KDD的定义 KDD的定义 数据：指一个有关事实F的集合，用以描述事物的基本信息。 数据：指一个有关事实 模式：语言L中的表达式E,E描述的数据是集合F的一个子集。表明集合FE 模式：语言 中的数据具有特性E。作为一个模式，E比枚举数据子集FE简单。 非平凡过程：指具有一定程度的智能性和自动性，不仅仅是简单地数值 非平凡过程：指具有一定程度的智

能性和自动性，不仅仅是简单地数值 统计和计算。 有效性(可信性):从数据中发现的模式必须有一定的可信度，函数C将表 有效性(可信性) 达式映射到度量空间MC ,c表示模式E的可信度，c = C(E, F)。其中E∈L, E所描述的数据集合FE F。 新颖性：用一个函数来表示模式的新颖程度N(E, F),函数值是逻辑值或 新颖性：用一个函数来表示模式的新颖程度 是对模式E的新颖程度的一个判断数值。新颖性从两个方面衡量：–当前得到的数据与以前的数据或期望得到的数据之间比较 当前得到的数据与以前的数据或期望得到的数据之间比较 –对比发现的模式与已有模式的关系来判断 对比发现的模式与已有模式的关系来判断

潜在作用：指提取出的模式将来会实际运用，通过函数U把L中的表达式映 潜在作用：指提取出的模式将来会实际运用，通过函数 射到测量空间MU ,u表示模式E的有作用程度，u=U(E, F)。 可理解性：发现的模式应该能够被用户理解，这主要体现在简洁性上。用 可理解性：发现的模式应该能够被用户理解，这主要体现在简洁性上。用 s表示模式E的简单度(可理解度),s=S(E, F)。 的简单度(可理解度)数据挖掘与知识发现(第2版) (25-7) 李雄飞等©2003,2010

数据挖掘课件 吉大

KDD的过程 KDD的过程KDD过程主要由三个部分组成，即数据整理、数据挖掘和 KDD过程主要由三个部分组成，即数据整理、数据挖掘和 结果的解释评估。解释/评价 知识 数据挖掘

变换 模式

预处理 变换后 数据 筛选 已预处理 数据 目标数据 数据

数据挖掘与知识发现(第2版)

(25-8)

李雄飞等©2003,2010

数据挖掘课件 吉大

KDD的过程 …… 此处隐藏：4796字，全部文档内容请下载后查看。喜欢就下载吧 ……