数据挖掘论文优秀4篇(2)

2011年5月，全球知名咨询公司麦肯锡全球研究院发布了一份题为《大数据：创新、竞争和生产力的。下一个新领域》的报告。报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于大数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来。2012年3月29日，美国政府在白宫网站上发布了《大数据研究和发展倡议》，表示将投资2亿美元启动“大数据研究和发展计划”，增强从大数据中分析萃取信息的能力。

在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。目前，国家电网公司已初步建成了国内领先、国际一流的信息集成平台。随着三地集中式数据中心的陆续投运，一级部署业务应用范围的拓展，结构化和非结构化数据中心的上线运行，电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。大数据的“量类时”特性，已在海量、实时的电网业务数据中进一步凸显，电力大数据分析迫在眉睫。

当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电网实际的数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制(包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测)，客户用电行为分析与客户细分，电力企业精细化运营管理等等，实现更科学的需求侧管理。

例如，在电力营销环节，针对“大营销”体系建设，以客户和市场为导向，省级集中的95598客户服务、计量检定配送业务属地化管理的营销管理体系和24小时面向客户的营销服务系统，可通过数据分析改善服务模式，提高营销能力和服务质量；以分析型数据为基础，优化现有营销组织模式，科学配置计量、收费和服务资源，构建营销稽查数据监控分析模型；建立各种针对营销的系统性算法模型库，发现数据中存在的隐藏关系， 为各级决策者提供多维的、直观的、全面的、深入的分析预测性数据， 进而主动把握市场动态，采取适当的营销策略，获得更大的企业效益，更好地服务于社会和经济发展。此外，还可以考虑在电力生产环节，利用数据挖掘技术，在线计算输送功率极限，并考虑电压等因素对功率极限的影响，从而合理设置系统输出功率，有效平衡系统的安全性和经济性。

公司具备非常好的从数据运维角度实现更大程度信息、知识发现的条件和基础，完全可以立足数据运维服务，创造数据增值价值，提供并衍生多种服务。以数据中心为纽带，新型数据运维的成果将有可能作为一种新的消费形态与交付方式，给客户带来全新的使用体验，打破传统业务系统间各自为阵的局面，进一步推动电网生产和企业管理，从数据运维角度对企业生产经营、管理以及坚强智能电网建设提供更有力、更长远、更深入的支撑。

数据挖掘专业就业方向

1.数据挖掘主要是做算法还是做应用？分别都要求什么？

这个问题太笼统，基本上算法和应用是两个人来做的，可能是数据挖掘职位。做算法的比较少，也比较高级。

其实所谓做算法大多数时候都不是设计新的算法(这个可以写论文了)，更多的是技术选型，特征工程抽取，最多是实现一些已经有论文但是还没有开源模块的算法等，还是要求扎实的算法和数据结构功底，以及丰富的分布式计算的知识的，以及不错的英文阅读和写作能力。但即使是这样也是百里挑一的，很难找到。

绝大读书数据挖掘岗位都是做应用，数据清洗，用现成的库建模，如果你自己不往算法或者架构方面继续提升，和其他的开发岗位的性质基本没什么不同，只要会编程都是很容易入门的。

2.北上广以外的普通公司用的多吗？待遇如何？

实际情况不太清楚，由于数据挖掘和大数据这个概念太火了，肯定到处都有人招聘响应的岗位，但是二线城市可能仅仅是停留在概念上，很多实际的工作并没有接触到足够大的数据，都是生搬硬套框架(从我面试的人的工作经验上看即使是在北上广深这种情况也比较多见)。

只是在北上广深，可能接触到大数据的机会多一些。而且做数据挖掘现在热点的技术比如Python，Spark，Scala，R这些技术除了在一线城市之外基本上没有足够的市场(因为会的人太少了，二线城市的公司找不到掌握这些技术的人，不招也没人学)。

所以我推测二线城市最多的还是用JAVA+Hadoop，或者用JAVA写一些Spark程序。北上广深和二线城市程序员比待遇是欺负人，就不讨论了。

3.和前端后端程序员比有什么区别？有什么优缺点？

和传统的前后端程序员相比，最主要的去别就是对编程水平的要求。从我招聘的情况来看，做数据挖掘的人编程水平要求可以降低一个档次，甚至都不用掌握面向对象。

但是要求技术全面，编程、SQL，Linux，正则表达式，Hadoop，Spark，爬虫，机器学习模型等技术都要掌握一些。前后端可能是要求精深，数据挖掘更强调广博，有架构能力更好。

4.目前在学习机器学习，如果想找数据挖掘方面的工作应该学习哪些内容？

打基础是最重要的，学习一门数据挖掘常用的语言，比如Python，Scala，R;学习足够的Linux经验，能够通过awk，grep等Linux命令快速的处理文本文件。掌握SQL，MySQL或者PostgreSQL都是比较常用的关系型数据库，搞数据的别跟我说不会用数据库。

补充的一些技能，比如NoSQL的使用，Elasticsearch的使用，分词(jieba等模块的使用)，算法的数据结构的知识。

5.hadoop,hive之类的需要学习吗？

我觉得应当学习，首先Hadoop和Hive很简单(如果你用AWS的话你可以开一台EMR，上面直接就有Hadoop和Hive，可以直接从使用学起)。

我觉得如果不折腾安装和部署，还有Linux和MySQL的经验，只要半天到一天就能熟悉Hadoop和Hive的使用(当然你得有Linux和MySQL的基础，如果没有就先老老实实的学Linux和MySQL，这两个都可以在自己的PC上安装，自己折腾)。

Spark对很多人来说才是需要学习的，如果你有JAVA经验大可以从JAVA入门。如果没有那么还是建议从Scala入门，但是实际上如果没有JAVA经验，Scala入门也会有一定难度，但是可以慢慢补。

所以总的来说Spark才足够难，以至于需要学习。

最后的最后我有一些建议。第一要对自己有一个系统的认知，自己的编程水平够么，SQL会用么，Linux会用么，能流畅的看英文文档么？

如果上面任何一个问题的答案是No，我都不建议直接转行或者申请高级的数据挖掘职位(因为你很难找到一个正经的数据挖掘岗位，顶多是一些打擦边球的岗位，无论是实际干的工作还是未来的成长可能对你的帮助都不大)。

无论你现在是学生还是已经再做一些前段后端、运维之类的工作你都有足够的时间补齐这些基础知识。

补齐了这些知识之后，第一件事就是了解大数据生态，Hadoop生态圈，Spark生态圈，机器学习，深度学习(后两者需要高等数学和线性代数基础，如果你的大学专业学这些不要混)。

篇三：数据挖掘论文 篇三

网 …… 此处隐藏：3957字，全部文档内容请下载后查看。喜欢就下载吧 ……