大数据Spark实战高手之路职业学习路线图

1、一、大数据Spark实战总论

1、大数据Spark实战高手之路视频课程—总论

大数据Spark实战高手之路：如何成为Spark高手？

2、二、Scala语言系列课程

1、熟练的掌握Scala语言系列课程1：Scala动手实战入门教程

1.1 安装Scala开发环境

1.2 Scala常用类型介绍

1.3 动手体验值与变量的声明

1.4 动手体验Scala函数与方法的定义和使用

1.5 动手编写条件表达式

1.6 循环表达式与For循环的使用

1.7 对1.6和2.1中循环语句块执行的说明

2、熟练的掌握Scala语言系列课程2：Scala实战入门进阶

对2.1节的说明中关于println的说明

2.1 默认参数、带名参数及变长参数

2.2 lazy值

2.3 异常处理

2.4 数组

2.5 Map操作

3、熟练的掌握Scala语言系列课程3：Scala面向对象入门实战

3.1 类的定义：属性与方法

3.2 不同的构造器

3.3 object对象

3.4 apply方法

3.5 方法重写与字段重写

4、熟练的掌握Scala语言系列课程4：Scala面向对象进阶实战

4.1 抽象类

4.2 trait

4.3 包的定义与使用

4.4 包对象定义与使用

4.5 文件访问

5、熟练的掌握Scala语言系列课程5：Scala函数式编程入门实战

5.1 函数的定义

5.2 值函数

5.3 匿名函数

5.4 闭包

5.5 SAM与Curry

5.6 高阶函数示例

6、熟练的掌握Scala语言系列课程6：Scala函数式编程进阶实战

6.1 集合

6.2 序列

6.3 可变列表与不可变列表

6.4 集合操作

6.5 case class

6.6 模式匹配

7、熟练的掌握Scala语言系列课程7：Scala高级特性实战

7.1 泛型类

7.2 泛型函数

7.3 Lower bounds 与 Upper bounds

7.4 View bounds

7.5Context bounds

7.6 协变与逆变

7.7 隐式转换

7.8 隐式参数

7.9 隐式类

8、熟练的掌握Scala语言系列课程8：Scala的Actor

8.1 创建actor

8.2 actor的消息机制

8.3 共享线程

8.4 多个actor协同工作

8.5 actor使用最佳实践

9、熟练的掌握Scala语言系列课程9：深入Scala隐式转换和隐式参数

9.1 隐式转换规则

9.2 隐式参数

9.3 上下文界定

9.4 隐式参数下的隐式转换

9.5 Scala隐式转发最佳实践

10、熟练的掌握Scala语言系列课程10：Akka架构解析与案例实战

10.1 Akka在分布式系统中的巨大价值

10.2 Akka架构

10.3 Akka内核剖析

10.4 Akka案例实战

11、Spark内核解析绝密视频瞬间成功提升Scala功力！

11.1、spark内核剖析概述

11.2、Spark内核解析绝密视频（瞬间成功提升Scala功力）

3、三、精通Spark平台本身提供给开发者API

1、精通Spark提供给开发者API系列课程1：动手构建Spark集群

1.1 动手构建Hadoop集群

1.2 动手构建Spark集群

1.3 测试Spark集群

2、精通Spark提供给开发者API系列课程2：编写Spark程序

2.1 程序数据的来源：File、HDFS、HBase、S3等

2.2 IDE环境构建

2.3 Maven

2.4 sbt.

2.5 编写并部署Spark程序的实例

3、精通Spark提供给开发者API系列课程3：SparkContext解析

3.1 源码剖析SparkContext

3.2 Scala、Java、Python使用SparkContext

3.3 加载数据成为RDD

3.4 把数据物化

4、精通Spark提供给开发者API系列课程4：深入实战RDD

4.1 DAG

4.2 深入实战各种Scala RDD Function

4.3 Spark Java RDD Function

4.4 RDD的优化问题

5、精通Spark提供给开发者API系列课程5：Spark程序的测试

5.1 编写可测试的Spark程序

5.2 Spark测试框架解析

5.3 Spark测试代码实战

6、精通Spark提供给开发者API系列课程6：Spark程序的优化

6.1 Logs

6.2 并发

6.3 内存

6.4 垃圾回收

6.5 序列化

6.6 安全

4、四、精通Spark内核

1、精通Spark内核系列课程1：Spark的架构设计

1.1 Spark生态系统剖析

1.2 Spark的架构设计剖析

1.3 RDD计算流程解析

1.4 Spark的出色容错机制

2、精通Spark内核系列课程2: Spark编程模型

2.1 RDD

2.2 transformation

2.3 action

2.4 lineage

2.5宽依赖与窄依赖

3、精通Spark内核系列课程3: 深入Spark内核

3.1 Spark集群

3.2 任务调度

3.3 DAGScheduler

3.4 TaskScheduler

3.5 Task内部揭秘

4、精通Spark内核系列课程4: Spark的广播变量与累加器

4.1 广播变量的机制和使用最佳实践

4.2累加器的机制和使用的最佳实践

5、精通Spark内核系列课程5：核心源码剖析

5.1，RDD的设计和源码实现；

5.2，Spark作业提交过程源码剖析；

5.3，Spark的Task执行过程源码剖析；

5.4，Spark的Scheduler模块源码剖析；

6、精通Spark内核系列课程6：RDD内幕揭秘

6.1，如何建立RDD之间的关系；

6.2，细说RDD的transformation之reduceByKey、groupByKey等

6.3，细说RDD的transformation之join、sortByKey等

6.4，揭秘combineByKey；

7、精通Spark内核系列课程7： Job内幕揭秘

7.1 从部署层次细说Job的部署和执行细节；

7.2 Job的逻辑执行和物理执行；

7.3 复杂的Job的实现；

7.4 Job的物理执行内幕；

7.5 生产和提交Job的内幕；

8、精通Spark内核系列课程8：Shuffle内幕揭秘

8.1 Shuffle的工作机制；

8.2 细说Shuffle操作；

8.3 深入解析Shuffle的Write操作；

8.4 深入解析Shuffle的Read操作；

8.5 Shuffle的性能优化；

9、精通Spark内核系列课程9：Spark集群工作内幕揭秘

9.1 Job的提交和接收内幕揭秘；

9.2 Task内幕揭秘；

9.3 从集群工作的角度看Shuffle；

10、精通Spark内核系列课程10：Cache和Checkpoint内幕揭秘

10.1 Cache的内部实现揭秘；

10.2 CheckPoint内部实现揭秘；

11、精通Spark内核系列课程11：Broadcast内幕揭秘

11.1 Broadcast的实现揭秘；

11.2 生产环境下的Broadcast；

5、五、掌握基于Spark的核心框架使用

1、掌握基于Spark上的核心框架的使用系列课程1: Spark SQL

1.1 Spark SQL原理和实现

1.2 使用Spark SQL操作文本文件和DSL

1.3 Spark SQL操作JSON和Hive

2、掌握基于Spark上的核心框架的使用系列课程2：Spark的图计算

2.1 Spark GraphX原理和实现

2.2 Table operator和Graph Operator

2.3 Verticies、Edges、Triplets

2.4 动手编写GraphX实例

2.5图操作之Property Operator、Structural Operator

2.6图操作之Computing Degree、Computing Neighbors

2.7 图操作之Join Operators、Map Reduce Triplets

2.8 Pregel API

2.9 ShortestPaths

2.10 PageRank

2.11 TriangleCount

3、掌握基于Spark上的核心框架的使用系列课程3: Spark实时流处理

3.1 DStream

3.2 transformation

3.3 checkpoint

3.4 案例实战之一

3.5 案例实战之二

3.6 案例实战之三

3.7 案例实战之四

4、掌握基于Spark上的核心框架的使用系列课程4: Spark的机器学习

4.1 LinearRegression

4.2 K-Means

4.3 Collaborative Filtering

5、掌握基于Spark上的核心框架的使用系列课程5：Spark作为云服务

5.1 JobServer的架构设计

5.2 JobServer提供的接口

5.3 JobServer最佳实践

6、掌握基于Spark上的核心框架的使用系列课程6：Spark on Yarn

6.1 Spark on Yarn的架构原理

6.2 Spark on Yarn的最佳实践

7、掌握基于Spark上的核心框架的使用系列课程7：Tachyon

7.1 Tachyon架构剖析

7.2 Tachyon操作详解

7.3 Spark下的Tachyon使用解析

6、六、商业级别大数据中心黄金组合

1、商业级别大数据中心系列课程1：大数据架构案例鉴赏

1）淘宝的Hadoo+Spark大数据鉴赏

2）Yahoo！的Hadoop+Spark大数据鉴赏

3）Conviva的Spark大数据鉴赏

4）优酷土豆使用Spark大数据鉴赏

5）网易使用Spark大数据鉴赏

6）腾讯使用Spark大数据鉴赏

7）京东使用大数据Spark鉴赏

8）华为使用Spark大数据鉴赏

2、商业级别大数据中心系列课程2：大数据处理中心的架构揭秘

1）大数据处理中心的黄金架构

2）大数据处理中心的最佳技术堆栈

3）大数据处理中心的速度为王

3、商业级别大数据中心系列课程3：大数据中心构建最佳实践

1）互联网企业构建大数据中心最佳实践

2）金融机构构建大数据中心最佳实践

3）传统企业构建大数据中心最佳实践

7、七、Spark源码完整解析和系统定制

1、Spark源码完整解析和系统定制系列课程1：Spark本质论RDD等

1）彻底精通RDD源码解读（一）；

2）彻底精通RDD源码解读（二）；

3）彻底精通RDD源码解读（三）；

4）彻底精通RDD源码解读（四）；

5）彻底精通RDD源码解读（五）；

6）彻底精通Shuffle源码解析和优化（一）；

7）彻底精通Shuffle源码解析和优化（二）；

8）彻底精通Shuffle源码解析和优化（三）；

9）彻底精通Shuffle源码解析和优化（四）；

10）彻底精通Spark作业提交和执行过程源码剖析（一）；

11）彻底精通Spark作业提交和执行过程源码剖析（二）；

12）彻底精通Spark作业提交和执行过程源码剖析（三）；

13）彻底精通Spark作业提交和执行过程源码剖析（四）；

14）彻底精通Spark作业提交和执行过程源码剖析（五）；

15）彻底精通Akka在Spark上的源码解析（一）；

16）彻底精通Akka在Spark上的源码解析（二）；

17）彻底精通Akka在Spark上的源码解析（三）；

18）彻底精通Akka在Spark上的源码解析（四）；

19）彻底精通Akka在Spark上的源码解析（五）；

2、Spark源码完整解析和系统定制系列课程2：Spark本质论Scheduler等

1）彻底精通Spark的任务调度模块源码剖析（一）；

2）彻底精通Spark的任务调度模块源码剖析（二）；

3）彻底精通Spark的任务调度模块源码剖析（三）；

4）彻底精通Spark的任务调度模块源码剖析（四）；

5）彻底精通Spark的任务调度模块源码剖析（五）；

6）彻底精通Spark的任务调度模块源码剖析（六）；

7）彻底精通Spark的任务调度模块源码剖析（七）；

8）彻底精通Spark的任务调度模块源码剖析（八）；

9）彻底精通Spark的任务调度模块源码剖析（九）；

10）彻底精通Task执行过程源码剖析（一）；

11）彻底精通Task执行过程源码剖析（二）；

12）彻底精通Task执行过程源码剖析（三）；

13）彻底精通Storage模块源码解析（一）；

14）彻底精通Storage模块源码解析（二）；

15）彻底精通Storage模块源码解析（三）；

16）彻底精通Storage模块源码解析（四）；

17）彻底精通Storage模块源码解析（五）

18）彻底精通Spark中的容错处理源码剖析（一）；

19）彻底精通Spark中的容错处理源码剖析（二）；

20）彻底精通Spark中的容错处理源码剖析（三）；

3、Spark源码完整解析和系统定制系列课程3：Spark本质论：SQL等

1）彻底精通Spark SQL的模块源码剖析（一）；

2）彻底精通Spark SQL的模块源码剖析（二）；

3）彻底精通Spark SQL的模块源码剖析（三）；

4）彻底精通Spark SQL的模块源码剖析（四）；

5）彻底精通Spark SQL的模块源码剖析（五）；

6）彻底精通Spark SQL的模块源码剖析（六）；

7）彻底精通Spark SQL的模块源码剖析（七）；

8）彻底精通Spark SQL的模块源码剖析（八）；

9）彻底精通Spark SQL的模块源码剖析（九）；

10）深入Spark Catalyst源码剖析（一）；

11）深入Spark Catalyst源码剖析（二）；

12）深入Spark Catalyst源码剖析（三）；

13）彻底深入Spark Streaming 源码解析(一)；

14）彻底深入Spark Streaming 源码解析(二)；

15）彻底深入Spark Streaming 源码解析(三)；

16）彻底深入Spark Streaming 源码解析(四)；

17）彻底深入Spark Streaming 源码解析(五)；

4、Spark源码完整解析和系统定制系列课程4：Spark本质论：MLLib等

1）彻底精通Spark MLlib源码解析（一）；

2）彻底精通Spark MLlib源码解析（二）；

3）彻底精通Spark MLlib源码解析（三）；

4）彻底精通Spark MLlib源码解析（四）；

5）彻底精通Spark MLlib源码解析（五）；

6）彻底精通Spark MLlib源码解析（六）；

7）彻底精通Spark MLlib源码解析（七）；

8）彻底精通Spark MLlib源码解析（八）；

9）彻底精通Spark MLlib源码解析（九）；

10）彻底精通Spark图计算源码解析（一）；

11）彻底精通Spark图计算源码解析（二）；

12）彻底精通Spark图计算源码解析（三）；

13）彻底精通Spark图计算源码解析（四）；

14）彻底精通Spark图计算源码解析（五）；

15）彻底精通Spark图计算源码解析（六）；

16）彻底精通Spark图计算源码解析（七）；

17）彻底精通Spark图计算源码解析（八）；

18）彻底精通Spark图计算源码解析（九）；

19）彻底精通Spark图计算源码解析（十）；

5、Spark源码完整解析和系统定制系列课程5：Spark不同场景解决方案

1）离线；

2）近线；

3）在线；

6、Spark源码完整解析和系统定制系列课程6：Spark 框架二次开发

1）打造自定义的Spark框架；

2）自定义框架的核心；

3）构造自己的大数据中心；