大数据

课程简介：大数据(big data,mega data)或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

课程目标：用完全零基础的大数据课程，不断更新紧随技术发展浪潮，更真实深度还原企业应用场景，更全面典型技术的点线面横向扩展，拓宽就业领域。

课程大纲：

第一章  操作系统基础

1.1 计算机基础知识

1.2 Linux环境搭建

1.3 数据库环境搭建

1.4 SQL语言

1.5 Superset部署和开发

1.6 案例架构

第二章  Java语言编程

2.1 Java程序基础数据类型

2.2 Java异常处理机制

2.3 Jsoup的网络爬虫开发

2.4 JDBC操作

2.5 ETL数据处理和BI报表开发

第三章  Hadoop技术栈

3.1 shell编程

3.2 ZooKeeper原理及应用

3.3 HDFS的使用和MapReduce编程

3.4 Yarn的原理和调优

3.5 Hive的使用和调优

第四章  数据微服务接口开发

4.1 SpringBoot整合SpringMVC开发

4.2 SpringBoot整合MyBatis开发

4.3 Eureka搭建

4.4 Feign的应用

第五章  实时生态圈

5.1 Redis原理及架构

5.2 Hbase原理及架构

5.3 Phoneix二级索引优化查询

5.4 ELK开发

5.5 基于Flink进行实时和离线数据处理和分析

第六章  Spark技术栈

6.1 Scala语言基础、数据结构

6.2 Spark Streaming整合Kafka完成实时数据处理

6.3 park Streaming偏移量管理及Checkpoint

6.4 Structured Streaming整合多数据源完成实时数据处理