TA的每日心情 | 怒
10 小时前 |
|---|
签到天数: 860 天 [LV.10]以坛为家III
管理员
 
- 积分
- 2888
|
课程大纲：
" w. u, Z) D/ O第一课：Spark生态和安装部署
( U. f3 Y6 C% ]# b8 cSpark概述; m" O* h! H0 ~& q# o, t) X
Spark现状' w8 C5 X1 }& m. C7 `& r
安装部署
e% A" _' u6 s- P Spark安装简介
$ l: U# e) ?/ {6 R Spark的源码编译2 D9 }( M5 O5 d1 X8 W' {; J0 \
Spark Standalone安装
% j' R+ T. f6 H/ B$ | Spark Standalone HA安装
; F! _& r5 k% W3 c/ ]3 ]Spark工具
# {( C) D& E& \$ ]8 C Spark交互式工具spark-shell
0 j- s9 N W, g Spark应用程序部署工具spark-submit
# I- W, e7 m4 N7 I `$ |
: W- e! X9 a" Y6 V0 h第二课：Spark编程模型和解析
% }4 L z2 k0 K& ~Spark的编程模型
0 r0 l# Q# m; c. ~0 O* X! d RDD的特点、操作、依赖关系
" Q2 T( Z: e+ w$ I7 {: `* T6 a; } 缓存策略8 o; _0 O6 @. ~1 p0 Z
广播变量和累加器
, w9 ~( @7 B& G1 E Q0 ZSpark编程环境搭建
, v! u w0 L# P: r" ZSpark编程实例0 R1 j4 o8 ` y3 r7 N" q1 U. i0 h
. M) _+ z( f1 T) ?& O
第三课：Spark运行架构和解析
5 _0 b6 d- o+ ^7 R5 R" t% _Spark的运行架构0 `3 I7 g! U8 n+ [4 O& ?/ A
基本术语! q; A4 T$ f3 `/ y T
运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）2 A5 G+ i9 ^5 \3 M, M/ B- r1 Y
Spark on Standalone运行过程
1 f, W+ L* Q6 q0 q3 w' F" C6 d! t! a4 _ Spark on YARN 运行过程
+ G! g4 C- B$ Y% \5 V. ^1 f$ `
* A- ]# M; Z. g4 {: [8 A第四课：hive入门* G. ~3 }' e# \
hive的运行架构$ t9 t- `# k; S2 `
hive的安装9 N# i0 |) q1 p! r/ Y4 b8 {
hive的实例演示
1 q' b3 u- N" F6 h) p! I) V h: g( Y; `1 F
第五课：SparkSQL原理和实践$ b1 j( N! X+ q& ^, q" d _, y
Spark的运行架构. l: I: p& n, ]+ R2 \% ~. E( T
Catalyst
8 i6 }6 G: T. R0 ^" r sqlontext4 A" K0 p" u4 G, d v2 [) m
hiveContext9 q8 q1 U1 X# a) X
ThriftServer和CLI
( \' p6 C$ l( M9 {- e8 g. k ThriftServer) m) y( T- K* Y
CLI+ }, A- Z6 n! S" {9 P1 z4 k
SparkSQL的实例演示和编程+ `; s- a" `8 S L3 y8 p
spark-shell实例演示
6 @1 B2 B8 x( U spark-sql实例演示
+ D# q0 f! y: L% y SparkSQL的编程- p0 h4 O3 Z, z2 \8 n9 Q. F$ c- S6 h
* a( X! g. x2 N- h8 I) d1 P9 v
第六课：SparkStreaming原理和实践
4 U J9 A0 y& ?SparkStreaming原理
( z" `: R0 H* o0 H& F SparkStreaming的原理
8 ?/ r6 O' z8 _ SparkStreaming的运行方式
- _: T% m) H" X* Z DStream的特点和操作: t5 b. V ]6 t3 E6 H% N0 p* a0 Q( D
SparkStreaming实例演示 W/ Z5 ~6 Y+ K. d+ @- n9 @# _
网络数据演示
7 H" V; _ X+ B5 D 文本实例演示
9 ~. {* B0 q6 Y# l Window操作演示 # B0 I( X# r' y: V/ n- e: J
; y) U9 g! [7 Y9 B- T* Z# \" ]5 A1 J# s第七课：MLlib入门' N) v8 O$ C2 F0 X1 E6 V; w
什么是机器学习
. v3 u/ ~" Q0 e2 [) i) z2 XMLlib的架构
0 l; W, C: R- h9 F8 dMllib实例演示( T; E4 n$ S% C" d( x6 N) e
聚类算法演示
2 S/ T& c' k- P# m; o 推荐系统演示
) e) B& T9 C1 _* W' q& C6 Y. u2 O
第八课：GraphX入门
2 m/ g' O: U/ q3 `& C8 O( b图论基础
! K e% L; r# z+ z0 tGraphX的架构
% ]" k$ f& _' N, WGraphX实例演示' G& s' L) }% a
图的基本操作
( [6 l' f* {* O( D( g @! x, j/ l PageRank演示; k( `+ g0 ?% W
0 c/ e+ p/ x: C7 v8 C: O+ ^+ S5 N
第九课：Spark运维
, v0 _6 ~8 R! |9 U$ p+ i: p/ @Spark On YARN 7 @. R( Z! T; |
history server
& F& s/ h) {$ h3 bjob server% g8 e! T) p$ N, @# Q8 V
Spark的监控
% k3 b. m- P1 d$ {* A( B; BSpark UI监控: `0 z+ D5 j1 o2 M- T" K
7 {8 J8 W& f" `/ G% c. B# \
第十课：Scala on Spark
$ R- b1 f6 r+ y3 ]- U( M aspark常用的scala基础
9 ?8 p! X+ t" Z" p6 E+ C! C如何阅读spark源代码5 v) ]8 b- b% O2 \9 L- i
如何构建spark项目# b( B- Q$ ?7 G0 B
& y+ `6 b. z/ N% b, O0 V3 f
第十一课：Spark编程
$ \* _# y3 X( F8 WRDD的编程
& R9 e7 \. H8 [5 m0 v4 {Spark综合实例（SparkSQL+sparkMlib+R）! l. ?1 h! E v! p
+ Y! X2 Y$ s% x5 [ q
第十二课：Spark源码研读# }7 d7 C( e- z$ N/ X
Spark源码总体介绍
$ s' |2 R- x8 j% Z5 ISparkCore源码细解 9 |* J. j. g3 h6 }
Spark Examples介绍
; x8 h3 e7 e6 b: l* A* z1 K3 d& z" w
) Y2 ^# X- P4 x/ R+ \9 H& e8 y第十三课：杂谈/ Z: a' `* L9 W/ o: Z. x0 J
Spark相关项目
& j/ v" j5 p g; G BlinkDB简介; S# r. h: Q# q7 a
SparkR的安装和实例! e, [$ S+ I0 p& [7 T
Techyon
& R% f7 j3 o9 e' R
7 ?7 ]9 [0 l) P3 W7 X
$ a6 X6 @& ?: C3 J I, C3 }3 n授课对象：
9 Y, k$ C# s& k8 a' U/ a- z- [有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。' I" w9 P7 _6 N- o+ i9 J
* |) `; [/ E+ \3 A0 B
收获预期：
# s- s$ [0 G4 c% E* S9 I深入理解Spark的运行原理
- B. D- D4 }3 Q5 [! e$ E/ o学会搭建Spark,hadoop集群环境9 q9 p8 H* a' q
完全掌握Spark编程基础，了解Spark运维的基础知识
; M+ ?, o( H" j完成大数据入门，可逐渐转岗大数据相关职位。
3 a3 r9 r- O4 Z* N
& K) F" T L9 Q n p! z3 d" O' Y' K
; g6 l* I. B i0 v, {7 C' @
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
