TA的每日心情 | 擦汗
昨天 14:10 |
|---|
签到天数: 1308 天 [LV.10]以坛为家III
管理员
 
- 积分
- 5240
|
课程大纲：, d: Y7 W- V" t* O% y
第一课：Spark生态和安装部署; a. O% c+ F- Q8 p4 v
Spark概述7 N& X& e% Y( \, n! w
Spark现状+ o9 w* h1 X3 q' i
安装部署5 y1 z# ~$ g5 V1 Y7 U) ~+ W
Spark安装简介
; M3 x2 T4 o' R# V6 `" l1 | Spark的源码编译
+ F, ?6 N% b+ [) A8 y Spark Standalone安装" z8 w8 K8 e) ^8 `: V
Spark Standalone HA安装
: m# B6 m, E( [+ o# B; lSpark工具
: C$ k$ x/ \1 O9 m, @. t1 Z3 ]! ^& n+ f Spark交互式工具spark-shell
k2 l/ j9 q8 E9 i6 g% V Spark应用程序部署工具spark-submit
) M: X, c, | Y
9 \# q) g$ n v8 c9 h- ?3 V( V第二课：Spark编程模型和解析
2 [8 {+ f& a+ Q2 ESpark的编程模型 Q# n9 F) I4 K- b8 Q
RDD的特点、操作、依赖关系+ n, {3 Y+ l7 M5 d" x, }
缓存策略$ J. e2 |, o; O8 o |
广播变量和累加器
/ Y, h0 I0 \4 Z% F2 P- @* M3 BSpark编程环境搭建% [! R, I$ y" _3 J
Spark编程实例' u2 Y4 j2 d- p s
, ]( ` M6 p+ t9 {0 R' G第三课：Spark运行架构和解析
% j3 F" K Q: `/ R8 p9 \Spark的运行架构
( p3 X' c- L3 | V7 d; F 基本术语
0 o& C4 v. s1 k) N6 q 运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）
' _) w, B# X) x3 D. T* ? Spark on Standalone运行过程
4 P) q/ v5 K8 G" g Spark on YARN 运行过程
* e: {* v/ n9 k( z2 u( u* g3 e
4 t/ Q" E4 F/ \4 j5 ?第四课：hive入门
! r8 `% C9 R2 a9 ~- a! fhive的运行架构
' S9 X: V, `5 K7 [( O- xhive的安装5 p& y2 [9 V/ X8 D: j. n n0 S
hive的实例演示. s- \+ D& z; j$ e' l# V) S
; l" y6 K' [+ W' D# a+ Z3 @
第五课：SparkSQL原理和实践) p; @! {/ G6 ^+ o% l* i" N1 r. V! k6 N
Spark的运行架构
f! n; [' Y# A Catalyst* ~/ T* w9 f4 \4 }; r
sqlontext
z) ?% I4 I: I( p5 ^ hiveContext8 J0 l- a7 g# J/ l4 \ V
ThriftServer和CLI
" P9 u. l) f* K ThriftServer% @8 Y" d/ b& L6 I" u3 s- ]
CLI
3 S+ ^& A6 u, l( f7 ]) ~: W2 PSparkSQL的实例演示和编程1 }: v, D' D: p- d7 H' i- n
spark-shell实例演示
8 ]3 C R) g. B. u L spark-sql实例演示
7 W: u" R/ O" \% P8 Q' W SparkSQL的编程2 o! N+ M; [# O% V
- d8 [9 E. B# z; o( k/ i
第六课：SparkStreaming原理和实践0 M4 K1 \. D( C3 h, s: v7 j2 I
SparkStreaming原理 Y" x( m5 r$ }, b% [6 |7 Y4 }. f
SparkStreaming的原理
: C3 Y, e) ~) \1 H* |9 y SparkStreaming的运行方式 0 p' j0 n9 @, V" J" G) _6 `
DStream的特点和操作7 C: U* k _$ _+ @9 v
SparkStreaming实例演示
" W8 u% c% s$ U7 U+ z 网络数据演示
1 ^: L% d& I0 ^0 S1 }3 a1 u: G+ | 文本实例演示# O% U, w: |0 }- {( G
Window操作演示
% i* t. x0 V A3 H! V8 R7 r# X9 P$ j+ r4 Q: E4 B% a9 B
第七课：MLlib入门4 Z# B- n, U" i D
什么是机器学习! f& H% R+ J7 l
MLlib的架构
! S( d! d' R+ ~- \# a" x1 B KMllib实例演示
2 Y- D0 S( b& V: j& p 聚类算法演示
+ T7 u# A) v7 V' ], F4 C. [" X j# u/ O 推荐系统演示 - A6 M4 {% Z% a6 \1 u; ~/ x
; Y9 N5 I: S" t& H0 c8 f7 w1 E第八课：GraphX入门
. z/ }9 e: M$ N6 }图论基础- O# |3 e3 n. R2 ?6 \! Z5 i
GraphX的架构
7 y3 s2 w- I5 {GraphX实例演示
& k. H* P. s' P! b 图的基本操作' `3 t4 a$ f2 |8 n5 \
PageRank演示 u! O ]: q, D0 G5 d
3 \: r5 ]; f6 W第九课：Spark运维
4 r/ b# i8 V7 _6 rSpark On YARN
) z+ m' m+ x8 ^ P4 O, S' Ihistory server! Q- o% @; T4 V, O6 {% {
job server, I+ U) Q/ p' [: P. l& d. F
Spark的监控$ C- b0 V3 ~1 @6 W& u; S
Spark UI监控( ~( b3 `: q" K3 O9 \
! r, Z7 p! J) Y8 I8 X6 e第十课：Scala on Spark2 a; V8 d7 s; p
spark常用的scala基础
7 a6 I" d' z* u$ x6 |6 M5 A1 F如何阅读spark源代码
9 \# B! G" f! \如何构建spark项目8 X4 D/ ~6 v) T% Y* ^- H
9 g( e: G9 \, N1 `- [" {/ d: I: V第十一课：Spark编程6 C9 W: N( p: s$ ]4 h6 g
RDD的编程
6 q$ Y e/ q1 }' fSpark综合实例（SparkSQL+sparkMlib+R）/ K4 N" ^0 n! s L: Q( q
. A; K* R5 z0 ]# J# O8 _第十二课：Spark源码研读3 D" p6 \8 E4 |* P; O# a0 V
Spark源码总体介绍8 o* S. ]% M5 ~0 o8 E) C, e
SparkCore源码细解
! K4 T) h0 C* O0 P; ZSpark Examples介绍
0 H8 O+ K* ]) t! f+ p1 `% [: H/ X8 z; T- J3 c
第十三课：杂谈
9 N" _/ n5 j+ u, J0 B; RSpark相关项目& J8 f" @; ]( n; v
BlinkDB简介5 F' F# N9 u: X4 P
SparkR的安装和实例
9 `4 W+ b. b ^3 t9 L' m Techyon# a* @' f$ T" ^ k" _3 L7 |
# ]/ ^/ e# A! e3 \' u2 I
4 {& y* l9 w2 ]* b! q; P. @. |/ P授课对象：; x. ]. c7 I$ f' ~; r* l8 P m% Z Z
有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。( Z: J7 P0 ~& Z6 z
1 \5 a7 a- G1 \1 M/ d( B
收获预期：
8 E. K8 X/ x3 H( y5 J" m5 _# E深入理解Spark的运行原理
: @/ q. F0 C, E: d# @9 _学会搭建Spark,hadoop集群环境
9 L% c! o/ L8 n完全掌握Spark编程基础，了解Spark运维的基础知识" X- Q) F: z$ g- Z, ]
完成大数据入门，可逐渐转岗大数据相关职位。
% G6 O! g2 S0 [# K! v+ x% `' { {. d: a1 Z
- R% I1 q% e+ E. c: @9 ~, I
8 c# H6 N4 D6 K; g
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
