TA的每日心情 | 擦汗
半小时前 |
|---|
签到天数: 1407 天 [LV.10]以坛为家III
管理员
 
- 积分
- 5633
|
课程大纲：* N E7 f5 I7 h5 e" _/ R$ _
第一课：Spark生态和安装部署& N. }. V$ D K+ N
Spark概述% Y- L' _1 @ c# t
Spark现状3 d4 I+ W( [2 D) V* N$ U
安装部署+ F9 x! | N" q. n
Spark安装简介
4 x8 B y: a! T* W$ c1 _! c( E9 W& {+ z Spark的源码编译
5 s8 K8 g& Z0 Y; s# ]2 j Spark Standalone安装
1 X2 e" }8 n$ E! O3 G, k Spark Standalone HA安装
5 h& C- ?! [; X1 W2 C: }7 D$ }9 M* KSpark工具
' k6 n; Q: \* R1 _4 \/ b' K- M w Spark交互式工具spark-shell
: q% S1 ?3 ]4 z9 k | Spark应用程序部署工具spark-submit% n% T5 o0 t, V
# m) P. `/ `- m: {第二课：Spark编程模型和解析2 T+ d; m' I6 B' u9 |# o9 t
Spark的编程模型
! E! ^) [: ~- g- s/ m3 l# }" x& {$ s RDD的特点、操作、依赖关系
% T7 H# i+ ?* e8 k, a1 w$ n 缓存策略9 q# d4 u4 _' c- L2 C" A3 I
广播变量和累加器
/ }7 {1 G/ Q$ b6 SSpark编程环境搭建3 R) {, y% S2 E
Spark编程实例! z0 t8 k8 R2 h8 [* ]% I: G
$ E$ t6 h* e( F4 g/ Y0 [第三课：Spark运行架构和解析 O+ z C) E& m E+ u8 e
Spark的运行架构2 _8 T1 S f& E6 ^
基本术语
; \# N, `- e* X! l 运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）/ ?9 b: [7 N$ M K* U* f3 ^
Spark on Standalone运行过程0 }# F) a- W# V
Spark on YARN 运行过程
- Z: D8 D! m5 O5 p9 y. f6 K3 Q3 Y0 u- z, f
第四课：hive入门, u6 M" ?1 c$ A6 f1 J6 t$ A
hive的运行架构% d" f! @9 \7 U
hive的安装& |- W5 J* I% [3 f2 \1 d
hive的实例演示
4 j# s( f: h8 y/ C; U+ o a9 M# r9 ?+ f; L5 k3 z; ]( t
第五课：SparkSQL原理和实践% V- W! t4 G+ k1 M5 s
Spark的运行架构1 V N' N( M* U5 W0 I4 h. v
Catalyst
- y4 K( n- ^( O sqlontext
+ {% B, A3 M7 E- {) N, ^ hiveContext
/ @( n& V: M; A z1 Q4 H4 A( o( sThriftServer和CLI" `* O; y: ^% }! A# e$ Q* `3 p. {2 o
ThriftServer
2 [8 Q7 m" f/ p, g. H2 u2 H CLI
O7 o- v0 J$ v5 M: ]SparkSQL的实例演示和编程
3 L: w' I0 o1 J" Z spark-shell实例演示
8 c {7 E6 q7 W; s: i8 ~ spark-sql实例演示
7 V* q- s$ r3 A. G SparkSQL的编程/ [( U: e( ]+ Y1 N' L9 W' r8 p
8 Z* k2 L! M; P" L# G g1 g' M' u第六课：SparkStreaming原理和实践
9 n5 e3 G! r# gSparkStreaming原理
* ^, F5 {9 ^" x9 ]( D SparkStreaming的原理: O! t/ U s/ T! ?' D: @
SparkStreaming的运行方式 4 k; h# Z' D4 i$ v; b
DStream的特点和操作
, p \& ^9 o1 { R; [9 O( OSparkStreaming实例演示
3 T+ t0 o$ m# ?& |' r% S p 网络数据演示$ f1 [9 o } M+ u+ b- f& }
文本实例演示
; Q/ f0 ?% V/ _- j( A Window操作演示 7 m& Q4 c9 y7 h# ^* m8 D+ B) P8 h$ ^
4 y5 Y4 @/ _- n$ B# R
第七课：MLlib入门
" `# g$ u6 _9 J1 r什么是机器学习
. I4 @' ~8 n& yMLlib的架构
, q2 O+ T9 x5 H. _: ~: oMllib实例演示, D7 s2 q# I9 h6 r8 k
聚类算法演示1 {0 h3 y0 E2 k8 i# l z: I
推荐系统演示 . I& {! ^* M: U3 o2 b% x* P
! \4 _6 ?3 K4 u+ C# q% G* _
第八课：GraphX入门( i7 B1 Q5 f6 i- I+ t6 K9 @# ?6 v5 i
图论基础
* L/ y. R' M* E9 ^3 | }GraphX的架构( m9 Y6 Y- H6 M
GraphX实例演示
& U% u% a8 q. S4 M 图的基本操作
# A! ^3 ^) B! n/ W0 `6 C PageRank演示" H, y8 |+ W* g/ @3 f
+ e4 s4 L- n; h, x1 ]3 `1 K3 f第九课：Spark运维* _ \5 `3 c7 u( D
Spark On YARN ; Z& d! P: u1 m3 T
history server; B) @- o9 A! Y2 _" Y# q) w- P
job server& Y& a1 d' L4 K ~7 H+ w- O5 N
Spark的监控! [7 b- x3 r0 o# t
Spark UI监控
: c9 ?" w, \5 J5 z4 P" a/ z( o* F, z6 u8 C1 H: T- k
第十课：Scala on Spark6 r. u* E6 ^- [1 H
spark常用的scala基础+ d, z5 \, O, g( q' z7 X- n8 Z8 `
如何阅读spark源代码* y2 |" B9 x7 l9 n
如何构建spark项目: G) I1 w! A( R
1 _8 A" t* H) ]" b: m6 Y
第十一课：Spark编程; I3 t* q: T3 S
RDD的编程
% h0 f1 N: @( l! z+ e4 z& HSpark综合实例（SparkSQL+sparkMlib+R）+ _' x8 Y6 u; {6 d5 h4 e# x) p1 }
) \0 d/ B; d7 Y( U9 y# O: o
第十二课：Spark源码研读/ b0 R$ D& ~: A: O; h* \) R5 Q5 v
Spark源码总体介绍. M4 Z ^5 [# y" H5 C: E( C( s
SparkCore源码细解 ' G- o+ O# C- P; B$ @) ` b; S! D
Spark Examples介绍
2 O( I ~$ B6 y9 o; G$ d7 R# c: ] }, L( Q* t
第十三课：杂谈1 ? N1 T, d9 v+ C( ?
Spark相关项目+ l& Q$ h4 }; W6 g3 E3 ]5 D( K
BlinkDB简介
; V: h0 a2 g' A1 M; m/ _& ] SparkR的安装和实例) V. a6 s- f" y, o6 U3 L
Techyon
9 @7 a6 Q0 i0 A: B4 M7 o/ O; o! n
U; m$ W8 a7 q( W- g
授课对象：
* v4 k9 E8 {! |. r& P3 ?$ f( c( u有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
1 h" W' W7 @& v! c) p2 @$ a- k+ L# k6 v/ d$ f( U4 j
收获预期：
" Y+ {6 N: }8 T1 |& B( G深入理解Spark的运行原理$ k& ?( P J! E2 o7 C
学会搭建Spark,hadoop集群环境
2 K8 J. D. R* H7 y完全掌握Spark编程基础，了解Spark运维的基础知识
; P, ? F% \- H! m! v) v! {完成大数据入门，可逐渐转岗大数据相关职位。
, o+ B y1 C& H5 q9 C- S( E
, x2 i7 F0 L( ?. {6 T* f
: g+ D' W# M3 G
5 `' j1 X9 I' k6 v+ [* U |
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
