浅谈大数据实验实训平台的建设
1. 大数据学科建设现状
1.1. 大数据学科建设现状
由于高校在大数据教育领域的发展时间并不是很长，所以目前高校在大数据专业方向的教学过程中，主要面临以下几个方面的问题：
1) 师资队伍建设
IT新技术更新的太快，有限的教师资源很难在有限的时间内系统的指导大批学生，设计性和探究性实验难以开展。
另外，教师教学任务繁重，新技术开发课程周期长，内部讲师培养周期长，很多院校在大数据技术课程的储备上明显不足。
2) 教学实验环境
大数据实验一人操作多台机器，传统机房是一人一台操作，传统的机房实验室，已经无法满足大数据实验操作的要求。
传统机房的现有服务器资源，也大多无法满足大数据实验的高计算、高性能要求。
快速更新的技术，导致现在教学实验环境无法快速适应大数据实验教学的要求。
3) 课程体系建设
由于新开专业，无参考标准体系，教师在编制大数据实验课程方面缺乏积累，教学内容开发缓慢。大数据实验需要大量的真实行业数据，无法通过模拟进行教学。
所以教学内容缺失主要是：缺乏真实数据；缺乏行业案例。
模拟数据的教学无法让学生体会到大数据的真实应用，造成学生动手能力难以提升。
4) 科研新挑战
数据的激增，势必由量变引起质变，从而使科研人员的思维和行为模式在传统学科的研究领域发生变化，如何利用大数据技术及优势，找到本学科研究成果的新视角，已经成为当前高校研究的重要课题。
1.2. 大数据实验实训平台建设的必要性
综合目前大数据学科建设所面临的问题，对设有大数据专业或专业方向的学校教师和学生在教学过程中产生很大的影响，教师面临着任务重、备课难、实验课难开展、发论文没思路等困扰，而学生又面临着听不懂、不会做、不会用、学不会的烦恼。
所以大数据学科如何实现标准教学、如何评估学生综合能力、如何解决师资缺乏、如何保障科研成果、学生就业如何满足企业需求是高校在大数据学科建设中必须要解决的问题。
因此，高校建设一个专业的大数据实验实训平台，除了必要的符合当前虚拟化潮流的高端服务器及网络设备之外，其中的重点是建设集教学、实验、实训、科研综合于一体的大数据实训平台，全方位支撑高校大数据教学及科研的需求是必要的和紧迫的。
1.3. 大数据实验实训平台的建设原则
1) 理论与实践相结合
理论与实践相结合是知识经济背景下历史发展的必然要求。在知识经济社会，高校是理论产生和传播的主体，积累并传承专业方向理论知识，指导学习者的实践活动与生产技能训练。多国国际知名高校案例经验表明，对于我国起步较晚的大数据学科方向建设发展，该专业应在理论与实践相结合的基础上侧重于实践，才能厚积薄发、赶超国际水准。
2) 适应社会人才需求
高端大数据人才培养是大数据实验实训平台建设的重要目标。当前各地院校在人才培养过程中必须以社会岗位的实际需求作为根本出发点，深入了解电信、零售、电力、银行、证券、期货、基金等众多行业机构对大数据学科高端人才的需求。根据权威机构预测，未来3-5年，中国需要180万大数据人才，当前就有30万，缺口达到150万之巨。
3) 国际化标准
大数据在全球教育领域属于一门新兴专业。得力于国际大数据地位的先天优势，该专业教育在欧美迅速发展，并在教育领域建立了国际性话语权。我国大数据学科方向建设的天然优势就是国内大数据的不断革新与发展，国际话语权不断增强�；诖擞攀疲匦朐诓握展冶曜忌杓迫瞬排嘌Ｊ降幕∩�，全面参与该专业方向建设的国际标准的制定。
4) 坚持创新
创新必须是与时俱进，国内信息技术的发展为大数据的创新提供了沃土，但这些远远不够。大数据教学实验室建设首先树立创新机制、激励制度；其次是尊重鼓励创新人才；再者是为了大数据创新提供必要的物质条件。各类院校都可以选择一条适合自己创新理念和模式，有利于促进院校跨越式发展与品牌影响力提升。
5) 专业深度与广度
专业的深度与广度并重是加强大数据实验实训平台建设与创新的基本条件，也是大数据产业发展的必然目标导向。不断纵向深入大数据的研究和创新大数据新的专业方向交叉点是推动新理论、新技术、新产品的必要条件。深度建设有利于大数据解决更为深层次性的大数据问题及工具方法创新；广度可以使大数据与更多专业相结合，发展更多前沿方向与分支研究领域，同时也有利于解决各行各业出现的大数据的问题。
6) 产学研一体化
坚持产学研一体化建设是科教兴国战略中必然的制度安排。在科教兴国战略体系中，教育、科研、生产相结合是一项重要的战略措施，国家出台了一系列政策法规支持高等学校推行教育、科研、生产相结合。当前国内，一方面产学研合作没有形成很好的发展模式，另一方面部分院校对大数据方向定位及建设理念不恰当，从而造成国内大数据的研究成果能够解决国内大数据行业问题的不多，院校亦不能从这个模式中为其获得长久的发展经济动力。
7) 院校特色定位
在借鉴国际经验和标准基础上，各类院校在建设大数据实验实训平台的过程中，应该按照各自的总体发展目标为核心，依据自身区域、师资力量、专业方向优势定位，采取不同模式的专业方向建设来确定自身的发展特色定位。我国经济发展各区各省都呈现不均衡状态，各行各业改革发展深度不一致，为院校大数据学科方向建设的特色定位提供了发展空间。
2. 大数据实验实训平台建设方案
2.1. 核心理念
利用云计算、虚拟化、人工智能及大数据主流框架，搭建教学系统和集群，将大数据核心技术应用到企业真实项目中，将理论知识、实验教学和大数据项目实践融合，由浅入深，循序渐进，逐步提升学生的专业技能和项目实践能力，使得学生与企业人才需求无缝衔接，真正解决大数据人才缺口问题。
2.2. 平台架构
针对高校大数据教学、管理、人工智能、项目实践、科研服务、创新孵化等实际应用场景，系统提供稳定、可靠、高效的软硬一体化大数据教学科研环境，以及完善的课程体系、项目数据和视频、多样化的教学手段和丰富的实战案例，以快速开发平台为基础，快速的构建大数据实验实训平台。整体平台架构图如下所示：
图 - 架构图
各组成部分说明如下：
1) 大数据教学资源
大数据教学资源提供教学实验指导手册、在线视频、资源包、实验示例代码、数据源等，让学生学以致用。通过在线学习、在线测验、在线实验、在线实训、综合分析及自主设计等多层次的实验操作，为大数据教学提供一个完整的一体化实验教学体系。
项目案例提供行业典型项目及行业数据，项目涉及互联网、运营商、金融、电子商务、政府等多个领域，每个项目案例都配备项目指导手册、讲解视频、行业数据及项目代码。
2) 大数据教学平台
实验实训使用的服务器采用虚拟化技术，实现硬件资源集中调度和管理，以大数据Hadoop及其生态组件为核心构建软件系统，支持更多的大数据高级特性，经过专业的性能优化和软硬件集成测试，保证平台的高性能与稳定可靠运行。
主要包括2个子系统：实验实训系统、云计算管理系统。
3) 基础支撑平台
传统的信息管理类系统普遍包含业务信息的增删改查和导入导出功能、流程审批功能、表单填报功能、可视化展示功能、中国式报表功能，系统中70%~80%都是此类功能。通过可配置化的快速开发平台，使用可配置的方式“零代码”轻松的实现这些功能。
图 - 架构图
大数据教学平台相关的功能�？槎际峭ü焖倏⑵教ń信渲没�+插件开发的方式完成的。
另外，快速开发平台还可以开放给科研人员，这样科研人员的精力能够更专注在科学研究上，而不需要关注代码本身，技术平台的搭建能够以一种非常轻松、高效的方式来完成。
2.3. 平台优势
1) 真机实验训练
实验室各模块相对独立，交互式的实验任务、实验指导、项目上机操作，教学视频、考试评分、数据监控等，保障学生灵活、快速的掌握大数据核心技术及项目开发能力。
2) 完善的课程体系
多年的大数据项目建设和IT培训经验沉淀的经验，研发出行业领先的大数据课程体系。
3) 典型大数据项目案例
提供多个行业典型应用案例数据包和视频包，以及配套实验手册，边学边练通过实际项目上机演练，多方位学习及训练，做到学生与企业需求无缝衔接，真正解决大数据人才缺口问题，行业案例还在不断的补充中。
4) 交互式学习模式
提供完善课程体系、在线学习系统，以大数据课程学习、在线视频、习题、线上测试、线上实验为主线，典型案例贯穿知识点的学习模式，确保学生掌握大数据项目技能。
5) 充分支撑科研工作
整合了数据采集、数据集市、数据建模、数据视图等，提供行业数据及案例用于基础研究，科研人员通过该系统方便对行业数据进行统计分析，按需求生成可视化数据报表。
6) 企业级硬件配置
基于业界最先进的硬件平台，采用企业级融合架构，具备高效融合、安全稳定、性能卓越、敏捷易用等特点。
2.4. 大数据教学资源建设
为了满足院�？焖倏璐笫菹喙乜纬淌笛榈男枨螅笛槭遗涮紫喙乜纬烫逑�、实验手册、在线视频、在线试题库等课程资源。
1) 课程体系
基于CDIO工程教育理念，设计了大数据工程型人才的教育解决方案，以研发到产品运行为载体，让学生以主动、实践的方式掌握大数据专业技能，培养具备大数据基础知识、个人能力、人机团队能力和项目动手的综合型人才。
大数据课程体系根据不同学历和职业方向设置不同的课程学习路线，针对每门课程提供教学实验指导手册、在线视频、资源包、实验示例代码等，让学生学以致用；不仅学习大数据技术有的基本理论和原理，学习大数据平台架构的技术实现及其在行业内的典型应用。通过在线学习、原理验证、实训应用、综合分析及自主设计等多层次的实验操作，为大数据教学提供一个完整的一体化的实验教学体系，快速提升实操技能，最终培养高素质、应用复合型大数据人才。
“数据科学与大数据技术”专业（专业代码080910T）强调培养具有多学科交叉能力的大数据人才。该专业重点培养具有以下三方面素质的人才：一是理论性的，主要是对数据科学中模型的理解和运用；二是实践性的，主要是处理实际数据的能力。三是应用性的，主要利用大数据的方法解决具体行业应用问题的能力。
2) 专业课
是为了让学生了解大数据概况，了解大数据产品、技术的特性、实现原理和应用方向。专业课程包括大数据概论、scala语言、Linux技术、JavaEE项目开发、大数据分析Python、概率论与数理统计、数据库技术七门课程。
3) 核心课
是为了让学生了解并初步掌握目前流行的大数据主流技术、了解其特点以及使用的场景，具备一定的大数据系统架构能力，并能自行开展简单的大数据应用开发。核心课程包括基于Hadoop的应用开发技术、大数据挖掘技术、R语言、大数据实时计算技术与应用、Spark数据处理技术、大数据可视化技术、机器学习、数据分析技术八门课程。
4) 实训及实践课程
针对每门课程提供教学实验指导手册、操作视频、实验资源包、实验示例代码等，让学生学以致用、用以促学；不仅学习大数据技术的基本理论和原理，还学习大数据平台架构的技术实现，以及其在行业内的典型应用等，如大数据应用开发综合项目、大数据平台搭建与管理综合项目、运营商数据分析、电商数据分析等。
2.6.1 实验手册
实验手册选用与产学合作协同育人项目高等院校《数据科学与大数据技术》系列规划教材配套的实验手册。所有案例均来源于企业，贴近实战，内容充实，拒绝空洞。每个实验都配有实验描述、实验环境、相关技能、知识点、效果图、详细实验步骤及总结。