TA的每日心情 | 奋斗
12 分钟前 |
|---|
签到天数: 1194 天 [LV.10]以坛为家III
管理员
 
- 积分
- 4708
|
课程大纲：
' M; o& }9 t1 K1 G8 K4 d7 y第一课：Spark生态和安装部署# \- D, w( k. N) G: v% _
Spark概述
( C& |( U1 f3 G$ g: ?* ESpark现状
" |5 g% N; M9 q7 b& p/ }2 {安装部署% z% H% ?2 e" Z
Spark安装简介
# q6 x4 |+ m6 A1 O. x8 i, [. _0 C# G Spark的源码编译' p, I. R# x! y; k: U, c+ q
Spark Standalone安装
. q% j2 a, ~& E& ^6 } Spark Standalone HA安装
7 U7 ]- I9 j' t) i& Y* ^$ p5 P: oSpark工具) f$ U, \& Z) C# ~- J+ \
Spark交互式工具spark-shell2 i8 Z( P1 `' w' ~% u0 W$ P
Spark应用程序部署工具spark-submit1 z8 \. W0 E' v) c3 K
8 @' T, T. K5 X" h! `2 A; B第二课：Spark编程模型和解析. [8 V1 x4 q e
Spark的编程模型 9 v$ g& C7 J' o& _% `
RDD的特点、操作、依赖关系
2 H' s& Z, S6 i+ @$ s) Q! v- I* E 缓存策略) `" ^9 ^. U4 S& P
广播变量和累加器; ? b8 H# f% u. ?3 {
Spark编程环境搭建8 m: ~, E- y7 e+ J" ]$ Y
Spark编程实例5 G0 D7 ]" Q4 D6 K+ `
+ f, X3 n* @9 u
第三课：Spark运行架构和解析
. s% O' I! G; z: Q0 z$ r! SSpark的运行架构
! n# n% @( ]5 F 基本术语# n8 Z% l0 W* o
运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）
! |1 ]: H, D' E* m6 U1 h) @5 C/ n Spark on Standalone运行过程
( z/ W0 i% Y+ t$ u Spark on YARN 运行过程
: y V5 Q- n% I. J6 ?- [
, A+ a/ |% S6 A0 P5 ~4 g0 X- J第四课：hive入门
# U7 U- N* F. E7 u, Fhive的运行架构+ v5 J: c# B, L9 P0 A: _
hive的安装. z5 w) I# E# k" O& ~. E
hive的实例演示
3 C1 }( \/ X/ `$ k4 p3 D/ I/ G# G ]' O: f( e" x
第五课：SparkSQL原理和实践
% U2 H) M9 z6 `5 k6 a0 I8 r2 RSpark的运行架构% C/ g* J1 A9 D5 l) U P2 W5 a2 |
Catalyst# k. |- B0 h. M0 c5 `+ G
sqlontext
0 u5 z2 R E J1 F hiveContext; _4 S2 y! v% a9 S/ {: k3 l
ThriftServer和CLI
$ }& k6 A6 n1 k V3 i5 O1 Y, E/ t) W ThriftServer
4 @$ U2 j8 F2 L0 g: f2 v4 L CLI: u4 @2 R4 y% ?
SparkSQL的实例演示和编程* c! t, l1 V' H9 e! N$ I
spark-shell实例演示# B8 S; u" F. S3 J: l
spark-sql实例演示
% Z; \* z& X* `2 ?5 P SparkSQL的编程) k# |+ I: a0 M0 z8 A7 P: v
( L, {0 J5 J: h r/ Z6 N
第六课：SparkStreaming原理和实践8 h2 R1 C6 ^# h8 R. q- h
SparkStreaming原理1 R7 u! S1 d$ c, N
SparkStreaming的原理7 e6 c0 `* n. D
SparkStreaming的运行方式
# o% \ W9 @# N DStream的特点和操作
, F4 m) w$ P% ~+ |: i7 l5 k0 CSparkStreaming实例演示9 U- ?# c! }$ M
网络数据演示9 ~/ Q3 B$ a l! c8 U& [
文本实例演示+ V7 w# b# E$ |1 h+ C) l$ K
Window操作演示
9 l% ?. H' a+ q9 w8 ?
2 Y" N+ G0 b4 B% k第七课：MLlib入门
" _7 Y3 @9 f$ P) @什么是机器学习
) {$ b2 N9 U) k* J) d' G, eMLlib的架构
9 p, Q4 Z2 [; `/ fMllib实例演示
* a9 C Z2 C' ] 聚类算法演示
- e6 p( @8 E* c; m 推荐系统演示 1 o6 N+ W- p2 k6 C7 } h; L
+ o) w X4 w0 w( w
第八课：GraphX入门
) ^& U" h/ Y6 [; f/ K图论基础# I# ?3 y' _. h7 B# p
GraphX的架构1 n! ]1 O9 p2 u: f
GraphX实例演示1 v. r: x4 ]! C) j: W& S/ H$ i
图的基本操作
* h; k F- t* }' M PageRank演示0 V; W1 A {3 j0 T6 Z/ F6 d8 T
6 A- |( A" x, t; P, ]& m/ [: I! w* t
第九课：Spark运维9 n; X4 d0 `2 z6 t
Spark On YARN * n9 ?5 Q4 v2 h7 N* H5 H0 M$ q
history server
* k, U, U Z3 |+ F. f4 Qjob server
2 O6 k1 o. q% |% m, E2 `Spark的监控
2 m3 t- f) p; |# f# b5 W5 NSpark UI监控
! x* P7 W. h1 I3 e9 w
9 E; E+ l G2 ?$ H" \* Z3 ^) B% F第十课：Scala on Spark4 h9 U. h5 x, j0 ]& ?3 C
spark常用的scala基础: B& ~7 o2 v5 F' \$ Z
如何阅读spark源代码
1 a# N1 l% P3 N, c! o如何构建spark项目- E6 e. w6 [2 n: x- ^, J* @
' U# N ]3 n" h$ M# ^
第十一课：Spark编程
, e i/ w" o5 N( o* f1 E2 kRDD的编程
/ r- t' W6 Y; f, y, cSpark综合实例（SparkSQL+sparkMlib+R）" |2 z3 V' b, k
5 H8 S+ I8 e( P, x6 ]+ k! a& T% B: g( x第十二课：Spark源码研读. ~, X! w6 L$ C# o3 x0 w
Spark源码总体介绍; i" u! S( m2 t* |' N0 X: \
SparkCore源码细解
: n. C2 h8 t% E4 hSpark Examples介绍
h! A& L) l* w, E- x% ]' z \/ K H; _7 J5 H$ e0 G
第十三课：杂谈- [2 H* m$ V: b3 F
Spark相关项目# L( _: @; c; }% l( | `
BlinkDB简介5 t) v; H) a: ]: o' h
SparkR的安装和实例
/ W' V) L. K8 l0 ]4 r; b1 H Techyon
# x O8 W* \- x, d) b( V; N& d1 x" ^7 a! U3 \5 Y. D
- ]4 K4 g6 d( `0 ?5 }7 B/ y y2 `& G授课对象：
) M" o# c. M5 W1 c) R# J6 l; C有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
& q" ?2 ]( V2 [$ V
) B! v$ ?) V' ^. Q4 e收获预期：9 B1 T% x) G# O8 s6 I' O
深入理解Spark的运行原理
# O \& c* B* U- T, E学会搭建Spark,hadoop集群环境# h) O) Y& `4 K2 }
完全掌握Spark编程基础，了解Spark运维的基础知识
3 I4 y% C4 n) \5 F* _完成大数据入门，可逐渐转岗大数据相关职位。
! i0 @: Z! P: o! r; O! v I; Z* o+ a6 E
; \# a2 W" I5 z7 c; E ^$ a( Y+ X5 u5 s2 F8 g5 b9 {
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
