数据分析与挖掘技术

产品详情：

中智讯（武汉）科技有限公司是一家集研发、生产、销售于一体的高新技术企业，中智讯重新定义教仪产品，立志于转型为高校教育服务商，从实验、实训、创新、工程、科研五大板块为学科专业建设提供整体解决方案。“大众创业、万众创新”，培养学生由知识“面” 的学习扩展到“点”的突破就是创新，中智讯创新创业类教学创新产品，结合热点移动互联网+、物联网、云计算、大数据、智能硬件等技术，服务高校实验室升级。
中智讯自主研发的实验实训产品，覆盖：智能交通、智能电网、智能家居、智慧医疗、智慧教室、智能水产等等，所有产品均配有详细的教材，让物联网工程、电子类、计算机类等院系大学生从零基础学起，助力大学生创新创业。
--------------------------------------------------
1 实验室项目建设背景
1.1 项目建设背景
随着全球数据量的爆炸式增长和数据挖掘技术的发展，数据分析与数据挖掘技术正在以空前的速度产生和积累，对数据分析和数据挖掘的人才需求也快速增加。进入 2014 年，大数据（Big Data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。目前，大数据正在开启一次重大的时代转型，其影响力包括传统的金融、医疗保健、市场业、零售业、制造业、司法、工程和科学、保险业等等行业。
数据挖掘致力于从大型数据库中发现隐藏知识、未知模式和新规则，以指寻人们做出正确决策。数据挖掘在数据处理中有独到的优势，但随着“大数据”旪代的到来，传统的数据挖掘经验受到了严重的挑战，如何从纷繁复杂的海量数据中提取有用的信息，变数据为财富，挖掘数据中的金矿，提升企业竞争力以及提高企业风险管理水平，是当前企业和教育工作的重要课题。

1.2 项目建设内容
数据分析与挖掘实验室旨在培养具备海量数据采集、管理、分析与挖掘等方面专业素养的应用型、复合型、创新型人才，
要求学生具有良好数学基础和较强编程能力，掌握信息科学与计算科学的基本理论方法与技能，具备定量分析、科学预测和应用软件开发能力，以胜任银行、零售商、电商、医院、供应链管理公司和电信公司等多个行业的相关工作。同时，实验室又要满足大数据技术及应用、各行业理论和复杂性等前沿领域研究的需要，将研究成果应用于我国各企业的发展与改革的深化，为政府和企业提供相关决策咨询和技术支持。实验室主要的功能如下：
科研实验：结合大数据技术及应用、应用数学、统计、经济等领域的研究力量，在中心框架下利用创新实验室的平台条件，开展前沿的大数据技术及应用方面的统计分析和实证研究，实现宏观经济、行业研究、金融研究、能源研究、通信研究等领域研究水平提升。
培训教学: 结合国际流行的数据挖掘、统计分析工具和专业精准的数据库，培养学生的数据挖掘、数据分析、数据检验、程序设计等实践技能。

1.3 项目建设原则
数据分析与挖掘技术实验室建设遵循以下原则：
1）可靠性：系统稳定、可靠的运行是系统具有实用性的前提。要求系统具有高稳定性，当系统出现故障和突发事件时，具有保障正常运行的措施。
2）易用性：系统应尽可能的减少系统维护人员的工作量。经过短期培训后，一般工作人员可掌握系统使用方法，这是为系统在使用过程中的实际需要考虑的。系统交付使用以后，应该便于各种日常维护工作，能够方便地进行软件的重新配置、系统的智能预警监测、硬件备品备件的更换和软件系统的升级。
3）扩展性：扩展能力是云计算应用基础服务平台最重要的原则之一，作为云计算行业应用的基础服务平台，平台应具备充分、灵活的适应能力、可扩展能力和自动升级能力，提供可视化的二次开发、配置工具，并充分考虑接口的标准化、协议的标准化。
4）可管理性：系统应具备完整的统计、分析、授权和预警等功能，并提供打印、短信、邮件、视频监控、GPS定位等通用服务。

2 实验室项目建设方案
2.1 项目方案介绍
针对目前高校大数据分析与挖掘教学与科研现状，经过大量高校教学需求调研，中智讯推出专业实用的大数据与虚拟化教学平台，帮助学生熟悉和掌握大数据及云计算领域的前沿技术，掌握云计算与大数据的开发方法，学习数据分析、数据挖掘、数据建模、数据仓库等知识。结合中智讯在物联网和移动互联网技术的多年积累，提供支持云计算的大量真实物理大数据源，通过云计算技术构建一套完整的移动互联物联网数据中心中间件系统。
本项目方案如下框图所示：

实验室方案框架说明：
1)大数据与虚拟化教学实验平台：该部分作为大数据和虚拟化基础知识的主要学习平台，是高校主要建设的部分。实验主机将4台高配的专业服务器集中在一台实验箱内，通过千兆交换机互联，学生可通过该平台做大数据和虚拟化的“建”、“管”、“用”等一系列实验。系统专业服务器包含：管理主机、计算主机、主存储主机、二级存储主机、千兆交换机等硬件构成，主机分区设计，直观的展示云计算的硬件构成及部署。实验平台采用一对一服务，每个学生独享一套硬件资源，方便管理和教学。
2)虚拟化技术教学资源：该部分主要用于学习云计算虚拟化技术及相关的IAAS自动化管理、部署、监控软件，支持大部分主流虚拟机的学习：KVM、Xen、Vmware、Oracle VM等。教学资源包含：Linux操作系统配置与使用（CentOS）、KVM虚拟化、Xen 虚拟化、Vmware虚拟化、Oracle VM虚拟化、CloudStack安装部署、CloudStack虚拟机资源管理、CloudStack平台运维与优化等。
3)大数据技术教学资源：该部分主要学习基于Hadoop架构的大数据教学，涵盖数据分析、数据挖掘、数据建模、数据仓库等知识。教学资源包含：Hadoop集群的部署/管理/监控、分布式文件系统HDFS安装配置与使用、大数据并行计算框架MapReduce安装配置与调优、基于Eclipse的HDFS/MapReduce程序开发与调试、HBase/Hive数据库系统的数据仓库开发与使用、基于Hive api的数据查询分析程序开发、大数据挖掘系统Mahout程序开发等。
4)大数据教学项目案例：该部分通过构建完整的行业综合应用实例来辅助教学，提供的项目包含：个人存储私有云综合实验、气象数据分析云综合实验、微信人物关系综合实训、云图书馆实例综合实训。结合智云硬件库实时大数据源，独创支持智云物联数据中间件系统的开发，涉及物理世界大数据的接入、分析、仓储、挖掘等功能，支持海量最近1小时、最近1天、最近1周、最近1月、最近1年及任意时间段数据的快速挖掘及数据分析使用，同时配合智云应用API，与上层移动互联网应用开发结合，构建从数据源端 -> 大数据处理中心 -> 行业应用完整的一套系统。
5)智云硬件库实时大数据源：该部分提供真实的物理硬件支撑大数据的接入，包含各种商用/工业感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee工业无线节点等各种设备，为学生提供行业真实应用的硬件数据源，可以构建各种应用场合：环境雾霾监测系统、仓库温度火灾监测系统、公共场合人流密度监测系统、工厂无人自动化生产系统、气象站天气预测系统等。
6)中智讯大数据源样本库：中智讯一直致力于移动互联网物联网行业开发，并运营独立的开放数据共享平台“智云物联”，能够为大数据科研及教学提供各种长期的数据样本，通过真实的物理数据支撑数据分析、数据挖掘的可靠性。

大数据与虚拟化实验室所构建的实验：

3 实验室项目产品介绍
3.1 大数据与虚拟化教学实验平台
ZCloudEduSysV1大数据与虚拟化教学实验平台提供完整的云计算虚拟化、大数据信息处理教学解决方案，采用独立工业机柜设计，在教学上每个学生可独享一套硬件资源，方便教学及云架构的体验。
ZCloudEduSysV1教学系统包含云计算虚拟化系统、云计算服务管理系统、云计算大数据教学系统、云计算项目案例系统四个部分组成，可完成对虚拟化、大数据、分布式与并行计算等云计算核心技术和理论的理解，提高学生的实践动手能力和运用云计算技术研发创新能力，作为学校开展云计算技术相关课程的实验实训平台。

云计算虚拟化技术：
ZCloudEduSysV1教学系统支持多种虚拟化技术部署，包含Xen、KVM、VMware ESXi、VirtualBox，提供CentOS操作系统下虚拟机搭建、管理及使用。ZCloudEduSysV1教学系统采用业界知名的云计算平台CloudStack统一管理网络资源，存储资源和计算资源组成的基础设施，通过使用 CloudStack可以部署，管理，配置于虚拟化平台。
通过CloudStack可以实现：
1）通过配置、整合一系列软、硬件设备为客户构建计算、存储资源池以及相应服务平台，使用户可以按需、弹性获取计算及存储资源。
2）通过云平台管理系统对整个云计算平台进行集中管理，实现对云平台的软、硬件资源进行、行统一分配和管理。
3）构建虚拟服务器，部署各种业务系统。通过云平台能对应用系统计算资源的动态调配。
CloudStack产品组件框图如下：
1）CloudStackUI 向管理员和用户提供基亍 Web 的操作界面。
2）CloudStack是 CloudStackUI 的后端支持系统，对外提供 API。
3）CloudStackView 提供面向虚拟机、物理主机和外部设备的监控服务。
4）其中 CloudStack资源管理模块作为于管理平台的核心，提供基于资源池的资源的管理和调度，完成 UI 的后端支持系统，可对外提供 API 供二次开发。
5）CloudPortal 是一个与用的业务/运营支撑系统的（B/OSS）平台，能使服务提供商能够迅速迚入市场，搭建在 CloudStack于管理平台之上。

云计算大数据技术：
ZCloudEduSysV1教学系统提供基于Apache Hadoop架构的大数据系统教学，包含大数据分析处理、大数据仓库数据库和大数据挖掘算法三个子系统。
项目一：个人私有存储云
项目二：气象数据分析云
项目三：微信人物关系云分析
项目四：图书馆图书云管理

更多移动互联网、物联网、云计算、大数据等实验室建设方案及教学设备，欢迎致电垂询！