TA的每日心情 | 擦汗
10 小时前 |
|---|
签到天数: 808 天 [LV.10]以坛为家III
管理员
 
- 积分
- 2558
|
课程大纲：
/ v5 D% I' b" B) A. i* L% e+ T第一课：Spark生态和安装部署
( y5 o7 O* d$ S, e2 wSpark概述# Q) U% Y6 ^( _% _6 N6 ?
Spark现状
% X; q7 x1 M) @" ^安装部署: }, G) i" M* G% Y' s+ b
Spark安装简介
- E6 ^1 t2 F/ l$ K Spark的源码编译3 E' m" W2 x6 @# o, F
Spark Standalone安装* ^- d' q; I6 A: I* ?0 _
Spark Standalone HA安装
$ D( K9 l; e. o3 ySpark工具/ F+ V7 Z: t( J) u
Spark交互式工具spark-shell O$ o. k# t. h3 K- z+ d1 R' G/ B
Spark应用程序部署工具spark-submit) |* E6 D) d, x) C S% @; q
1 D. ?5 I, z0 _5 |
第二课：Spark编程模型和解析* f# ~- A. W( `
Spark的编程模型
' H6 x: e5 D0 k8 c/ f$ z RDD的特点、操作、依赖关系
; R. K% S7 m: f' Z8 T 缓存策略
0 W% U8 K( a _# f; L 广播变量和累加器/ Z, Z) E/ n+ w- z, \( a$ Z$ M
Spark编程环境搭建# X1 L1 r2 v9 _8 I
Spark编程实例% U4 [: [7 Q% D! q; z3 A
3 V9 Q; m8 ^8 l ?第三课：Spark运行架构和解析
: o, F/ q- u* e2 _) h. qSpark的运行架构
# g( g5 N. U' T 基本术语
. e: h& r- y$ ` c; V( G 运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）' y' z- L: `- O4 B. C, W* g
Spark on Standalone运行过程
" `6 b8 u; W( v- S) H! H" R Spark on YARN 运行过程8 G, @' g# O8 V
- |+ d9 n- }) D0 C第四课：hive入门
* K' l4 L9 A; I/ V0 L. T2 Y0 Hhive的运行架构4 _% t$ l- \! h4 \- I! g4 p; n
hive的安装
$ e: d; h3 c2 T' I( dhive的实例演示7 ]1 q+ p8 d8 }9 }2 [
! V A( Q6 C: x! d0 T- ]第五课：SparkSQL原理和实践" p6 g/ ~0 ?0 o U8 H; |, c
Spark的运行架构! W8 U9 ]: |9 {
Catalyst
3 }& u9 S8 Z4 M3 {; @7 z sqlontext" D. h8 S9 Z: C8 {% C& j+ R
hiveContext; Y$ R& J+ i0 u2 U) h0 [, D
ThriftServer和CLI
, p6 i* N; A. s& R! S; i; B ThriftServer( P4 j- d8 I( ?; e& ?$ L* R
CLI8 p9 M3 T! [ O9 ]
SparkSQL的实例演示和编程/ q8 Y* e. e! C! o' V4 U4 J; Q
spark-shell实例演示7 [3 p1 S. ^& x& d6 E
spark-sql实例演示* P$ n! c# t! _$ ^* M# s! I8 }) Q
SparkSQL的编程0 ~" c$ R; _. r$ J; Z* C0 t% s- i
, ?+ J, V8 ?8 D k; |
第六课：SparkStreaming原理和实践! L, w. w6 J# B3 C- ~ x, @
SparkStreaming原理
9 ]2 r1 M) Z) M: } SparkStreaming的原理
- K8 Z: ]2 Z+ w& V3 g SparkStreaming的运行方式 O) a! ^ A1 n' ?' n. K
DStream的特点和操作
% m4 L8 a8 J' J. r: kSparkStreaming实例演示
; m) I5 F% T: `5 e( P 网络数据演示 ?7 x& J/ e. o, D6 V
文本实例演示6 w4 A6 g* K! j$ ?7 m
Window操作演示 " T0 a7 C: i3 f$ |5 u" c2 c
" ^) w R. G- ~* b第七课：MLlib入门
7 r. A2 O, m" S7 |什么是机器学习
5 `8 w, P- u0 k0 V& UMLlib的架构
; R2 J% d6 F) t8 Y* x) JMllib实例演示
; P- h" y5 r( G: k 聚类算法演示
3 j! p' ^* i% C9 e" l" z4 \ 推荐系统演示 ) {5 q0 P$ X, S% U' [ h. i
$ ]; \/ R/ ~- P% Q1 j% ?+ V第八课：GraphX入门1 u e$ i$ ]) _' R
图论基础
. B+ j* m" s' U* vGraphX的架构
+ c6 p: W/ h7 IGraphX实例演示% e$ v c3 o4 t$ ~
图的基本操作
' x- s+ [5 Z5 l$ z* S$ |6 Y. p m PageRank演示/ Y9 P: c) F F6 {0 a2 p+ @1 P
3 e/ Q& J8 T, O! }8 i第九课：Spark运维
! m/ ~/ m: t* i( n, m; uSpark On YARN ) m! G, c, i$ P2 _7 C
history server/ {5 n8 @! w% l: F) @. |( b! _2 V
job server
2 v' w- [3 O! k9 d: dSpark的监控
& }/ @6 o$ o u+ p d+ ]& J( ^Spark UI监控% D/ \7 O1 W, O8 e
" K: D+ o, e( C: p2 E. m5 A第十课：Scala on Spark
0 b( q- V$ t8 N* n: Espark常用的scala基础
- t& z5 E$ i5 ^1 `0 q: z- A5 H如何阅读spark源代码
$ C9 `2 I& y/ g; l1 N4 Q) J如何构建spark项目
4 I- m; |& F7 y0 ~' s
* q. t( N1 G1 I+ G% q& n6 K第十一课：Spark编程& Z6 _# V' Y: k W# h! B9 R
RDD的编程, e+ x6 `8 l9 J2 M. b
Spark综合实例（SparkSQL+sparkMlib+R）/ w3 g1 X, _% C8 \
4 U1 y% J, |5 p1 U1 v第十二课：Spark源码研读/ ~3 X) y3 f# L( J& ]2 J
Spark源码总体介绍+ d- b. @+ }) B$ U# q7 z
SparkCore源码细解
u* S0 s3 [* {- w7 dSpark Examples介绍
: B( K* `- c7 w) D5 D. U3 G- G
5 Q7 t3 y9 { Q/ J6 K第十三课：杂谈
' a5 m1 @9 w4 }4 R9 \Spark相关项目
- U1 H( {. i% G BlinkDB简介6 q; [& d' f/ i
SparkR的安装和实例
1 \- T: L! V D# \6 _, t Techyon, t: l' @4 V% o) ?
; Q+ B# y2 ~0 ] p. l7 g ?
- R+ z: L, r' a3 @4 @3 T: Y+ U授课对象：
( d/ ~% @7 e2 L( p: i有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
2 g3 D7 Y, H. P
2 T2 Q9 Q" V7 l; h: f% s收获预期：, l( ]. n: P$ |: |- @/ p6 d6 ?
深入理解Spark的运行原理
- @: s, ?: R& r! y, Z学会搭建Spark,hadoop集群环境 i: N4 H* C7 g. i, I
完全掌握Spark编程基础，了解Spark运维的基础知识
) Y2 w; W8 U, H) B! c/ \ T完成大数据入门，可逐渐转岗大数据相关职位。. ]/ v m+ L/ J3 F. }+ S; d/ e4 R
0 q! D" Q6 D6 \. p) f* \4 c/ P5 L' @. O
* d, s) c5 q4 x8 \9 e |
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
