大数据科研平台介绍

科研平台建设的基本原则是科研为主，同时为教学实验提供部分计算资源及安全资源，系统在授权范围内共享科研系统的计算资源，提高教学实验的真实性。系统整体由千兆核心交换机作为核心节点，并以两个千兆接入交换机作为科研与实验环境的交换节点。科研环境由我司开发的商业Hadoop集群为基础，上层集成便于操作的大数据科研应用系统，集成20T大数据案例集及可拖拽的数据算法和可视化算法。

科研平台功能

本科研平台针对数据挖掘有大数据分析研究内容，兼顾科研与教学的需求，既能满足科研工作中对大数据分析高性能平台要求也具有教学实验平台简单易用的特点。

1、大数据分析功能规划

建设以商业版Hadoop为核心的大数据分析平台，系统提供MapReduce以及Hive、PIG等数据分析功能。系统具有完整的管理调度功能同时提供JDBC等外部访问接口。

2、 硬件资源功能规划

系统具有24个Intel Xeon E5 CPU计算能力，提供超过200T的存储能力以及1T以上的内存，可满足1000任务共时计算内能，方便扩充。

• 科研项目管理

科研计算的项目是以计算项目来保存的，包括了计算项目建立、计算项目维护、计算项目设计、计算项目运行和结果可视化等几个环节。

• 平台数据案例库

作为一个科研平台数据，数据的来源是最大的难点，目前在互联网等渠道是很难找到科研工作所需的数据源，尤其是经过数据处理和治理后的高质量数据。

• 科研数据上传

高校自有的科研数据也能上传到平台参与数据计算，老师可以在平台上建立数据表，然后把本地的数据文件上传到数据表中。

• 科研平台集成算法

科研平台就要考虑操作的简易性，BDR科研平台集成了50多种算法，包括回归算法、分类算法、聚类算法、关联规划算法、推荐算法、预测评估、数据预处理算法、机器学习等。所有的算法无须重新编程，只需要拖拽绘图完成即可进行计算。

• 科研平台可视化功能

提供70余种可视化展示模式，一键选择，一键切换，可按使用者需求展示大数据之美，根据需要展示对应的纬度，并可以一键生成高质量PNG文件，保存到本地后可用于科研报告和论文等。

数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于科研平台具有较高的专业要求。科研平台不仅要提供基础的编程环境，还要提供大数据的运算环境以及用于科学研究的实战大数据案例。这些素材的准备均需完整的科研平台作为支撑。

目前，在我国高校的专业设置上与数据挖掘与大数据分析相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息以及公共卫生等。这些专业的在使用科研平台时的侧重点各不相同，使用人员层次水平也不相同，对算法的使用也不相同，因此，需要建设一个便利、操作简易、算法全面、可视化的大数据科研平台是非常有必要的。