TA的每日心情 | 郁闷
2 小时前 |
|---|
签到天数: 983 天 [LV.10]以坛为家III
管理员
 
- 积分
- 3619
|
课程大纲：3 j; l' g* H, b* ~+ F( E
第一课：Spark生态和安装部署
s9 x" E8 w7 a0 K4 ?5 C$ rSpark概述
1 A( U* e' ^, W6 M- bSpark现状
; E4 b) c; A0 t* y9 }安装部署0 P: Y0 c! \8 e* G
Spark安装简介4 M5 I0 y9 B2 y3 @ X$ m& f
Spark的源码编译
, f+ E& p6 g$ {6 n! ~ Spark Standalone安装+ S/ K5 y0 D5 k5 b) F* c- a" w
Spark Standalone HA安装 1 _/ s0 g+ ^5 S9 R m+ C
Spark工具0 V8 s& j5 ~4 Z
Spark交互式工具spark-shell
$ L1 j" }# i: L3 j8 w Spark应用程序部署工具spark-submit& `" l. `. L" |) R9 v& x
. } R7 m/ C( H" @& q5 |第二课：Spark编程模型和解析/ o) U, A' i) q0 K' f
Spark的编程模型
- a9 M% q/ }4 j2 H2 D3 H0 w RDD的特点、操作、依赖关系
1 i7 R; k# H- b 缓存策略
& m7 ^+ U) ?9 I8 x i 广播变量和累加器, e' H- W* ?- r" p3 }0 L
Spark编程环境搭建
: @$ U1 ^6 z% n+ C0 TSpark编程实例
- O0 D0 w* r n8 t' w" e& C" ]4 l, S
" R8 \" }; \4 g2 a0 z第三课：Spark运行架构和解析
7 g# t3 h' Q4 s) B# ISpark的运行架构8 H& W5 c, y: g$ V9 c
基本术语
3 c) L8 ^& q0 A3 `4 \ 运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）+ d3 T" z" P1 o* W6 _* h
Spark on Standalone运行过程- A( v S# Q: w# }0 I4 S
Spark on YARN 运行过程
4 `7 N3 M7 I4 R0 j9 Z: z, _
! g9 D! l3 _5 W. y% T6 }$ o第四课：hive入门' _% |1 Z, D' U: g$ T" w. o
hive的运行架构& S0 t; C; ^9 |2 h
hive的安装! n }- p. s& D* h! T9 O
hive的实例演示- m% F% D' x' k; T. z1 z }! b! D5 |
R: \9 w" J( l0 B. x: a& p* s第五课：SparkSQL原理和实践+ u: w0 s& o4 l1 \3 V1 d* ?" }
Spark的运行架构
0 r4 x: @1 C1 a+ C Catalyst
4 M- C% Y) q+ b: F7 p" |1 b" K sqlontext
$ v7 e! U- d) _% R, x hiveContext# Z. E3 g: A; {- x8 x% d/ K; h
ThriftServer和CLI
% C4 A* u! C! w2 x: \6 W ThriftServer/ d1 _5 F3 M9 |4 b) V, `7 X5 t
CLI9 d5 ]6 J2 x/ L: r+ {- q |4 @* H
SparkSQL的实例演示和编程
/ b! j. Z# n" B7 [, ~ spark-shell实例演示& e' d- W/ J; x# ^+ \8 \. Y3 J0 P
spark-sql实例演示
- g) B. i* K8 v' ^2 j SparkSQL的编程
$ U+ k, i0 S3 Y* @" e
/ I6 s2 I0 r) d0 F( W; k5 b+ a第六课：SparkStreaming原理和实践
% _% I2 k- J" \SparkStreaming原理
" u+ U6 G p/ p% w9 N" z3 I5 I* X SparkStreaming的原理) O9 C: [ {- j* q1 v) x' r
SparkStreaming的运行方式 * `) m. @4 [5 Y* w# y
DStream的特点和操作
4 _4 K$ H1 u2 }" J ^0 V1 lSparkStreaming实例演示
0 U5 V6 f% I9 w7 _6 o0 D3 C% b" B 网络数据演示
6 b& q3 a+ j& x" }- S 文本实例演示( V/ t N: k/ k
Window操作演示 7 r; Y" J$ c0 o" ]
$ Y' x S+ M) d
第七课：MLlib入门5 e. L! G/ z2 p. G
什么是机器学习! N$ Y8 E/ o$ K2 o( U+ T
MLlib的架构8 R& o7 g5 i$ G# B4 y2 }& u
Mllib实例演示
7 O" P$ ^, a9 ?; h( j( ^ 聚类算法演示
6 N: u; Z4 h- Q 推荐系统演示
# ?. P; \0 Y- D+ u8 m/ l* k
. Y. @* U- U, C' q- u/ L. s& q第八课：GraphX入门
- v# G; @' l6 e( X图论基础2 m. Z5 s- k/ F. Z! j
GraphX的架构
- w0 z$ d2 y- k; I, z5 ?GraphX实例演示
- T0 [* K5 d! V1 X& K+ @; w 图的基本操作
2 D8 w' l4 q8 F2 c/ q9 F PageRank演示$ i; Q4 D8 A: o+ b# C; D* v
2 \' g1 e* e* b) t" B. ]7 @
第九课：Spark运维# w5 J5 o& H2 u4 ~, j
Spark On YARN 1 u: Q1 O/ K+ H! c& F
history server
5 X% o* [; x( g( ]* H. R& {job server: x) S F6 \4 N; r
Spark的监控
2 {; {4 p* \( R2 i* _4 X0 uSpark UI监控
/ y6 u$ V2 `+ w" l9 K
* _* C, m0 v6 P6 r$ e2 ?! m第十课：Scala on Spark
: u1 ?# y y( H( H& R) q3 C* x3 yspark常用的scala基础7 }+ A, Q' O% U4 G
如何阅读spark源代码/ A, A6 d* c Z( l/ k
如何构建spark项目% a' [" l0 @# z( I4 \
3 j; B0 W' i! N9 p/ I& e5 V! O
第十一课：Spark编程1 i0 k% |) T. T6 _* y; s
RDD的编程0 R# F9 F& B6 S7 s: S: p# A
Spark综合实例（SparkSQL+sparkMlib+R）' ~5 {6 u4 V* e, o4 D9 G2 Y! e
* ~, f$ v" B/ W0 U第十二课：Spark源码研读$ F6 X. F3 l' ~& g- C
Spark源码总体介绍
& ]4 o0 a6 a) K( U% nSparkCore源码细解 2 `' i6 `5 E6 r" @$ m- D- i2 s
Spark Examples介绍4 ^. C2 ~8 W( d0 c
2 P6 z$ y# Q$ f' a0 `/ M第十三课：杂谈
' X- z* D4 ^5 s! j% s& @1 U% FSpark相关项目- B j4 n; A: z
BlinkDB简介
$ e# a: P% U$ z2 j; b% y2 Q SparkR的安装和实例+ r$ r2 Z/ x: ~$ T
Techyon
7 V) Z# w, a& N; U5 B% ]8 d1 D
$ y5 v: U0 o9 w. K! `. v c7 W, c! W3 A, ?& [8 C
授课对象：. s. j T! `- z+ b% K, {% d |+ k" E
有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。/ }% p, f& O% S: l8 p
) i: l9 O4 E0 P1 ]: S/ S% i2 F
收获预期：
8 d5 \4 G0 x# Y/ [. U% n0 j* o# H深入理解Spark的运行原理# F" x3 y4 r7 Z; z9 }9 F* w
学会搭建Spark,hadoop集群环境- j5 j# `. B; Y" l* Z! ^3 A
完全掌握Spark编程基础，了解Spark运维的基础知识
) w- z$ R! n% y, _; W O1 ~完成大数据入门，可逐渐转岗大数据相关职位。
, k6 }! `* ]2 e; Q/ o* N2 o4 b+ o. ]
6 |" Z9 y/ W) P
4 a1 g3 ]% T; I* j; Q# d
3 i& G: L2 ~9 W( e* Q$ J0 }% I |
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
