主办单位: | 泰迪杯数据挖掘挑战赛组委会 |
协办单位: | 北京泰迪云智信息技术研究院 |
支持单位: | 广东泰迪智能科技股份有限公司 |
各有关院校
国家十三五规划纲要明确提出“实施国家大数据战略,推进数据资源开放共享”,为我国在大数据领域的未来发展绘制了宏伟的蓝图,开启了我国大数据发展的新时代。教育部《高等学校人工智能创新行动计划》及国务院颁布的《新一代人工智能发展规划》,责成科技司、基教司、职成司、高教司、地方各级教育行政部门大力推动人工智能、大数据等新技术在教育教学中的深入应用,推进信息技术与高等教育教学深度融合。从发布对人工智能、大数据等新技术与教育结合的指导性文件到直接扶持建设相关教学项目,为高校进行教学改革和升级教学手段和方式指明了新的方向。
大数据及人工智能产业的发展对人才提出了新的需求,国内各高校在积极进行学术研究的同时,已经将大数据与人工智能教育纳入培养体系。为帮助高校适时调整课程体系、继续深化教学改革,指导数据智能学科建设和跨学科人才培养,进一步提升教学能力和科研能力,将继续推动大数据人才培养工程行动计划,“2020年第三期全国高校大数据与人工智能双师骨干师资研修班(Hadoop+Spark大数据开发方向)”因受疫情影响,将改为线上以云课堂形式举办, 现将有关通知如下:
一、培训目标及特点
1、为参训教师提供大数据教学领域全套工具、服务、平台、数据、案例及在线课程等资源,为在高校开展大数据教育工作、培养大数据人才的教师提供深入培训及交流机会。后续将为学校开展大数据相关课程设计与实践提供完整的解决方案和全方位授课支持。
2、本次培训采用云课堂线上精讲+专家技术在线答疑指导+学员群内实操答疑+助教指导结合的方式,全程强调动手实操;内容以代码落地为主,以理论讲解为根,以公式推导为辅,通过讲解企业级案例,真正的让学员把所学内容和工作实际有效结合,做到更好的进行教育教学工作。
3、本次培训将系统讲授大数据人工智能课程知识体系、授课方法、实验环境搭建、基础编程、实训实验室建设、高校课程公共服务平台资源使用指南等方面的内容,使学员能够深入了解当下大数据与人工智能技术在世界范围内的最新发展水平,理解大数据与人工智能技术在当代各种相关产品中的应用,并掌握该领域最关键技术的原理,以及技术应用过程,旨在帮助参加培训的教师快速建立对相关课程的整体性认识,为高职院校备课和顺利开课、科研和项目开发工作打下坚实基础。
4、本次培训课程内容以“鱼骨教学法”进行编排设计,所有课程将围绕真实企业项目展开,强调培训的实战性和真实性。让教师亲身接触企业一线工作场景,充分提升教师的实践教学能力。本次学习为每位参训学员提供系统的院校大数据专业建设方案,帮助各高职院校在专业课程体系建设提供全方位、强有力的教学资源支持。
5、本次课程通过讲授、研讨、动手实操、多种灵活有效的教学方式,加强大数据专业师资队伍的建设,提升教师教学创新思维。了解大数据及人工智能岗位目前的就业形势、前景及所需相关技能,了解企业实际需求,并参与一个实际项目的全过程,将培训转化成教学成果,运用到教师自己后续的教学当中去,全部提升教师实践教学能力。
6、了解高校大数据人工智能专业的教材、实验室、实训室建设内容、产品、科研和创新创业最新讯息。本次学习为每位参训学员提供大数据教学实训平台试用帐号、课程建设与程序设计的相关资源,丰富已开设大数据专业院校课程体系。
注:所有学员自备笔记本电脑(Windows7或以上操作系统(64位)、8G+内存、100G+可用磁盘)进行实验操作、紧跟老师上课过程操作练习,完全学会经典案例开发技术,完全学会使用以上工具软件开发应用。
二、研修对象
各高职院校数据、大数据、人工智能相关学科、计算机、网络通信、自动化、电子工程、数理统计等专业的科研、教学带头人、骨干教师、博士生、硕士生、本科生、大专生;
从事计算机、云计算、大数据、人工智能、互联网等相关领域项目的科研院所的项目负责人、科研人员、工程技术人员等。
三、时间地点
2020年6月26日-7月12日(培训以线上云课堂形式进行,支持六个月内免费回看)
四、培训内容
2020年第三期-师资研修班培训大纲 | ||
---|---|---|
第一部分:(前置基础课程) | 学习地址:edu.tipdm.org | |
学习时间及方式:需在正式培训开始前自学完成 | ||
Linux基础 1 Linux操作系统简介 1.1 Linux简介与发展历程 1.2 Linux常见版本 1.3 Linux安装(设计磁盘分区)及使用 2 Linux基本命令 2.1 Linux文件系统树 2.2 档案与目录管理 2.3 查看文件内容 2.4 创建硬链接和符号链接 2.5 帮助命令 2.6 重定向相关命令 2.7 用户及用户组管理 2.8 Linux档案权限与目录配置 3 Linux vi编辑器 3.1 模式介绍与常见快捷命令 3.2 vi常用快捷命令 3.2.1 一般模式快捷键 3.2.2 编辑模式与指令模式快捷键 4 Linux Shell编辑 4.1 Bash简介及功能介绍 4.2 Shell Script编程 5 软件安装与卸载 5.1 安装与卸载方式 5.2 yum源 | MySQL基础 1 数据库概述 1.1 数据库概述 1.2 数据库基本概念介绍 2 MySQL安装与配置 2.1 MySQL安装与配置 2.2 可视化工具使用 3 MySQL基本命令 3.1 创建与删除数据库 3.2 数据结构与数据类型 3.3 主键与外键 3.4 创建、修改、删除表 3.5 插入与删除数据 4 SQL语法操作 4.1 MySQL常用运算符 4.2 MySQL数据查询操作 5 MySQL联表操作与子查询 5.1 联表查询 5.2 子查询 5.3 复制表 6 MySQL函数 6.1 函数类型介绍 6.2 SQL函数应用 7 约束与索引 7.1 约束介绍与设置 7.2 索引介绍与设置 | Java基础 1 Java基础模块 1.1 Java简介 1.2 Java安装配置 2 Java基础语法 2.1 Java基本数据类型&引用数据类型 2.2 Java变量 2.3 Java String类 2.4 Java运算符 2.5 表达式 2.6 判断循环语言 3 Java数组 4 Java方法 4.1 方法定义 4.2 方法重载与重写 5 Java集合简介 5.1 Java集合之List 5.2 Java集合之Set 5.3 Java集合之Map 6 Java面向对象模块 6.1 Java类、对象 6.2 Java类封装 6.3 Java构造函数 6.4 Java类继承 6.5 Java类多态 6.6 Java抽象类 6.7 Java接口 6.8 Java泛型 7 Java其他模块 7.1 Java多线程 7.2 Java包、异常 8 Java文件 8.1 读取文件 8.2 写入文件 9 Java操作数据库实例 |
第二部分:(进阶课程) | 学习时间 | 6月26日 - 7月12日 |
时间 | 课程内容 | 学习平台 |
第一课 Hadoop大数据基础 | ||
6月26日(周五) 19:00 - 21:30 | 1 Hadoop简介、核心及生态系统 1.1 Hadoop简介 1.2 Hadoop核心组件 1.3 Hadoop生态系统 1.4 Hadoop应用场景 2 Hadoop集群搭建 2.1 安装配置虚拟机 2.2 安装Java 2.3 搭建Hadoop完全分布式集群 3 Hadoop基本操作 3.1 查看Hadoop集群的基本信息 3.2 上传文件到HDFS 3.3 运行首个MapReduce 3.4 管理多个MapReduce任务 | 泰迪云课堂 |
在线实训1-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
6月27日(周六) 上午08:30 - 11:30 下午14:00 - 17:00 | 4 MapReduce入门编程 4.1 使用Eclipse创建MapReduce工程 4.2 通过源码初识MapReduce编程 4.3 编程实现按日期统计访问次数 4.4 编程实现按访问次数排序 5 MapReduce编程进阶 5.1 筛选日志文件生成序列化文件 5.2 Hadoop Java API读取序列化日志文件 5.3 优化日志文件统计程序 5.4 Eclipse提交日志文件统计程序 6 Hadoop案例基于KNN的鸢尾花分类预测 | 泰迪云课堂 |
在线实训1-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第二课 Hive大数据仓库 | ||
6月28日(周日) 08:00 - 11:30 14:00 - 17:00 | 1 Hive概述 1.1 Hive的产生背景 1.2 Hive体系架构 1.3 数据类型 1.4 与传统数据库的区别 1.5 Hive的应用 2 Hive安装配置 2.1 安装MySQL 2.2 安装Hive 3 Hive表定义 3.1 Hive创建内表和外表 3.2 Hive创建静态分区表 3.3 Hive创建动态分区表 3.4 创建带有数据的表 4 Hive导入导出数据 4.1 Hive导入本地或者HDFS上的数据 4.2 Hive单表查询和多表查询导入数据 4.3 Hive导出数据 5 HIve查询 5.1 Hive查询语法及distinct操作 5.2 Hive order by和内置函数查询 5.3 Hive group by查询 5.4 Hive join查询 5.5 Hive子查询和case when查询 | 泰迪云课堂 |
在线实训2-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
6月29日(周一) 19:00 - 21:30 | 6 函数 6.1 Hive内置函数 6.2 Hive自定义函数 7 基于Hive的航空客户价值分析数据处理 7.1 数据探索 7.2 数据处理 | 泰迪云课堂 |
在线实训2-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第三课 HBase分布式数据库 | ||
6月30日(周二) 19:00 - 21:30 | 1 HBase简介 1.1 HBase介绍 1.2 HBase模式简介 1.3 使用场景 2 HBase安装配置 2.1 Hadoop环境与ZooKeeper环境介绍 2.2 ZooKeeper安装配置 2.3 HBase安装配置 3 HBase原理架构 3.1 HBase组件及功能 3.2 HBase数据模型 3.3 HBase数据读写流程 4 HBase Shell 4.1 命名空间操作 4.2 新建表 4.3 描述表 4.4 修改表 4.5 删除表 4.6 表数据增加 4.7 表数据查询 4.8 表数据删除 | 泰迪云课堂 |
在线实训3-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月1日(周三) 19:00 - 21:30 | 5 表的模式设计 5.1 模式设计介绍 5.2 Rowkey设计 5.3 列簇设计 5.4 表模式设计实例 6 HBase Java API 6.1 搭建HBase开发环境 6.2 建立数据库链接与常用类介绍 6.3 Java API创建与删除表 6.4 Java API增加表数据 6.5 Java API查看与删除表数据 6.6 多版本列簇与region分割点设置 6.7 多版本数据读取 6.8 列簇增加、修改与删除 | 泰迪云课堂 |
在线实训3-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月2日(周四) 19:00 - 21:30 | 7 MapReduce与HBase交互 7.1 MapReduce实现HDFS与HBase数据传输 7.2 MapReduce实现HBase与HBase数据转移 8 冠字号系统数据存储设计 8.1 数据描述 8.2 数据表设计 8.3 创建表 8.4 数据存储 8.5 数据查询 | 泰迪云课堂 |
在线实训3-3 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第四课 Scala编程基础 | ||
7月3日(周五) 19:00 - 21:30 | 1 Scala简介与安装 1.1 Scala简介与特性 1.2 Scala安装 2 Scala基础语言 2.1 Scala数据类型 2.2 Scala变量 2.3 Scala运算符 2.4 条件控制与循环 2.5 函数 3 Scala集合 3.1 Scala集合-Array 3.2 Scala集合-List 3.3 Scala集合-Set 3.4 Scala集合-Map 3.5 Scala集合-Tuple 3.6 内置函数组合器 | 泰迪云课堂 |
在线实训4-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月4日(周六) 08:30 - 11:30 | 4 Scala异常 5 Scala类 5.1 类定义 5.2 构造函数 5.3 成员变量和方法 5.4 单例对象、伴生类和伴生对象 5.5 文件读写 6 Scala应用实例 | 泰迪云课堂 |
在线实训4-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第五课 Spark大数据分析基础 | ||
7月4日(周六) 14:00 - 17:00 | 1 Spark概述 1.1 认识Spark 1.2 搭建Spark环境 1.3 了解Spark运行架构与原理 1.4 Spark生态系统 2 Spark编程 3.1 创建RDD 3.2 RDD Transform算子应用 3.3 RDD Action算子应用 | 泰迪云课堂 |
在线实训5-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月5日(周日) 08:30 - 11:30 14:00 - 17:00 | 4 Spark编程进阶 4.1 搭建开发环境 4.2 编程实现学生信息分析 4.3 程序编译 4.4 任务提交与运行模式 4.5 查看任务监控 4.6 RDD持久化 4.7 RDD依赖与容错 5 Spark SQL: 结构化数据文件处理 5.1 认识Spark SQL 5.2 认识DataFrame、DataSet 5.3 掌握DataFrame基础操作 5.4 探索分析法律服务网站数据 6 Spark与机器学习库 6.1 机器学习简介 6.2 MLlib各模块简介 6.3 探索分析模块 6.4 算法模块 6.5 模型评估与优化模块 6.6 PipeLine介绍 6.7 PipeLine整合预处理、建模、调优、评估过程 7 电影智能推荐案例 | 泰迪云课堂 |
在线实训5-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第六课 Flume大数据采集与传输 | ||
7月6日(周一) 19:00 - 21:30 | 1 Flume简介 1.1 Flume概念 1.2 Flume组成 2 Flume安装配置 2.1 Flume安装 2.2 Flume采集示例 2.3 Flume采集文件数据到HDFS中 3 Flume源与通道选择器 3.1 Flume源 3.2 通道选择器 | 泰迪云课堂 |
在线实训6-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月7日(周二) 19:00 - 21:30 | 4 通道 4.1 内存通道 4.2 文件通道 5 接收器与接收处理器 5.1 接收器 5.2 接收器组 5.3 接收处理器 | 泰迪云课堂 |
在线实训6-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第七课 Kafka大数据流处理 | ||
7月8日(周三) 19:00 - 21:30 | 1 Kafka的概述 1.1 什么是消息系统 1.2 Kafka介绍 1.3 Kafka基础架构 1.4 Kafka核心概念 2 Kafka安装配置 2.1 安装Zookeeper 2.2 安装Kafka 2.3 多代理配置和主题操作 | 泰迪云课堂 |
在线实训7-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月9日(周四) 19:00 - 21:30 | 3 Kafka基础应用 3.1 创建主题 3.2 创建生产者 3.3 创建消费者 4 Kafka基础操作 4.1 Kafka Producer API 4.2 kafka Consumer API 4.3 Kafka与Spark集成 | 泰迪云课堂 |
在线实训7-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第八课 Flink大数据实时处理 | ||
7月10日(周五) 19:00 - 21:30 | 1 认识Flink 1.1 Flink简介 1.2 Flink自身优势以及与其他框架的比较 2 Flink基本概念和数据流编程模型 2.1 Flink数据流编程模型和时间窗口 2.2 Flink分布式运行环境 3 Flink安装 3.1 安装Flink 3.2 启动与关闭Flink 3.3 查看Flink监控窗口 3.4 FlinkWordCount任务与运行示例 4 Flink开发 4.1 配置开发环境 4.2 DataStream API编程 5 Flink应用实例 | 泰迪云课堂 |
在线实训8-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第九课 项目实战 | ||
7月11日(周六) 08:30 - 11:30 14:00 - 17:00 | 广电大数据用户画像(Hadoop + Spark + Hive) 1 项目需求 1.1 项目背景 1.2 项目目标 2 技术方案 2.1 技术选型 2.2 系统架构 3 数据存储与传输 3.1 创建Hive表 3.2 csv数据导入到Hive 4 需求探索 4.1 数据说明 4.2 基础探索 4.3 业务需求探索 4.4 需求探索总结 5 基础数据预处理 6 SVM预测用户是否挽留 6.1 SVM算法简介 6.2 构建特征列和标签列数据 6.3 建立SVM模型 6.4 模型评估与预测 7 用户画像 7.1 用户画像概述 7.2 标签计算 7.3 标签展示 | 泰迪云课堂 |
在线实训9-1 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
7月12日(周日) 08:30 - 11:30 14:00 - 17:00 | 商品实时推荐系统(Flume + Kafka + Flink) 1 案例背景与目标分析 1.1 背景介绍 1.2 业务需求分析 1.3 任务分析 2 系统架构设计 2.1 实时日志采集系统架构设计 2.2 实时数据处理系统架构设计 3 采集系统方案实施 3.1 Kafka主题设计与实现 3.2 Flume数据采集配置与实现 3.3 Kafka消费者配置与实现 4 实时处理系统方案实施 4.1 创建Flink作业 4.2 统计商品销售额 4.3 Flink实时统计与推荐 | 泰迪云课堂 |
在线实训9-2 | 泰迪实训平台 | |
在线答疑 | 微信群 | |
第十课 在线考试 | ||
7月12日(周日) 19:00 - 21:30 | 大数据技术应用职业技术在线考试 | 泰迪云课堂 |
五、课程主讲师资介绍
郑素铃 广东泰迪智能科技股份有限公司大数据研发工程师、大数据讲师。从事大数据项目研发工作,对Hadoop大数据计算有较深的研究,熟练掌握Hadoop环境部署和Hadoop核心计算框架MapReduce的原理和应用。掌握Spark原理及编程,熟练使用Spark的图计算Graphx和算法库MLlib。对非结构化数据库HBase以及结构化数据库Hive有深刻的了解。掌握数据挖掘和机器学习的常用算法,熟悉数据挖掘流程,具备项目开发经验,如"数睿思网站用户画像研究"和"法律服务智能推荐系统"项目,在推荐系统方面比较有研究。先后参与了《Hadoop大数据开发基础》、《Spark大数据技术与应用》等图书编写工作。负责过韩山师范学院、西安铁路职业技术学院等高校和教师的大数据培训课程。 | |
刘志婷 广东泰迪智能科技股份有限公司高级大数据研发工程师、大数据讲师,在电商、金融、机器人等方面有着丰富的项目经验,深度参与过统一平台关系链数据处理、某新媒体网络电商优惠平台大数据开发、广东省公安统计数据综合应用平台大数据开发等项目。熟练使用CDH集群,掌握Hadoop生态圈技术(HDFS、MR、Flink、Yarn、Hive等),先后负责过广东水利电力、韩山师范等高校实训课程和大数据师资培训课程。 |
六、证书颁发
学员经在线培训并考试合格后,可以获得本期培训对应专题职业技术证书。
七、报名材料及费用说明
1. 报名材料:报名申请表、身份证复印件、两寸近期正面免冠彩色证件照 电子版(要求背景:白色,格式:JPG,大小:14-20K)。
2. 培训费用: 2980元/人,包含(报名费、学习费、资料费、证书费)。
3. 全程课程视频内容共计120课时,六个月内面向学员免费开放,可以反复学习。
4. 参加线上课程学习的学员,如后续参加线下课程继续深造,持线上缴费凭证可享受一次免费学习机会(仅限参加同一培训专题方向的线下课程)。
5. 本次由广东泰迪智能科技股份有限公司收取费用并开具发票。
八、联系方式
联 系 人:曾老师 13246821827
微 信:antonia602501
Q Q:804954701
邮 箱:zengaizhi@tipdm.com
机构网址:www.tipdm.com
附件一:
2020年全国高校大数据与人工智能骨干师资研修班
报名申请表
单位名称 | ||||||
部门/院系 | ||||||
通讯地址 | 邮 编: | |||||
发票抬头 | 发票内容: | |||||
纳税号 | 电子发票 接收邮箱: | |||||
联系人 | 电话: | 邮箱: | ||||
姓名 | 性别 | 职务 | 身份证号 | 手机号 | 电子邮箱 | |
费用支付时间及方式 | 1、电汇到指定账号。 3、付款时请注明"大数据研修班+单位或姓名"字样,方便查账备案。 | |||||
帐户信息 | 账户名:广东泰迪智能科技股份有限公司 开户行:中国建设银行股份有限公司广州萝岗支行 账户号:44050 14700 42090 12501 | |||||
是否需要安排住宿 | 是(单间或标间) | 否 | ||||
备注 | 请将报名表发送至招生办公室,报名邮箱:zengaizhi@tipdm.com 联系人: 曾老师 13246821827 |