/3

大数据分析平台

    大数据分析平台是面向高校数据挖掘课程教学的大数据数据分析建模工具。算法部分大数据分析平台基于Hadoop结构,采用MapReduce和Spark编写分布式算法。平台基础框架使用JAVA语言开发,采用B/S结构,可通过浏览器进行访问。大数据分析平台操作简单、便捷,用户可在没有编程基础的情况下,通过拖拽的方式进行操作,完成数据输入输出、数据预处理、挖掘建模、模型评估、部署等环节,各环节组件通过流程化的方式连接,帮助学生在基础较差的情况下快速建立工程化思维。

    本平台提供多种数据挖掘与大数据开发的算法,且所有算法提供API(JAR包)和WebService接口,方便业务系统进行调用;支持开源Hadoop平台,同时可选支持多种商业Hadoop发行平台;屏蔽复杂的大数据分析底层技术,提供可视化数据分析用户界面,满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析。

(1) 大数据分析平台特点

A. 提供优质的大数据分析与挖掘案例

B. 支持Hive、HDFS等数据源接入方式,并支持数据分享

C. 提供丰富的Hadoop、Spark大数据分析、大数据挖掘算法

D. 支持工程和数据源设置定时任务调度

E. 开放各模块所对应的应用开发接口

(2) 大数据分析平台功能

A. 首页:提供大数据挖掘案例模板和本平台使用的示例模板的模板,教师可直接利用建立好的模板进行教学,通过对数据挖掘的总体流程和大数据项目案例分析思路讲授,帮助学生快速建立工程化思维。

 image030.png

B. 数据源管理:支持多种数据源接入方式,同时支持同平台数据共享。

 image031.png

C. 工程应用:本平台采用可视化拖拽式流程设计器,使平台的操作更为简单,不需要使用者有很强的编程能力。平台提供10大类近70种基于Hadoop/Spark的数据分析与挖掘算法,真正满足用户的大数据分析与开发需求。

 image032.png

D. 任务管理:支持对某一数据源或工程设置定时任务,并支持任务之间的依赖。

image033.png