TA的每日心情 | 无聊
3 小时前 |
|---|
签到天数: 924 天 [LV.10]以坛为家III
管理员
 
- 积分
- 3301
|
课程大纲：
+ A, ? A3 J: D; {) ]- Y第一课：Spark生态和安装部署
# M/ e0 f# {( @Spark概述8 H9 F' J* D9 G* M
Spark现状
6 o4 Q8 W: P7 e" v安装部署) D( @$ _) _$ U# E
Spark安装简介# p2 @% ^7 v2 u: f9 T
Spark的源码编译 K0 C$ o$ u( c- M$ X8 K( Y- B
Spark Standalone安装" t2 Y0 S' [% i( Z' \: A5 _
Spark Standalone HA安装 1 c4 R7 ]* l9 d2 i4 p4 O' s+ J
Spark工具" z: }8 ^3 I+ {5 D8 v5 C+ {
Spark交互式工具spark-shell
. s9 s3 C# x4 o1 ^ Spark应用程序部署工具spark-submit7 Y: s8 f, Z; }& X" J' H* N* @
4 X& w" H9 Z5 j第二课：Spark编程模型和解析
' f3 Z' Z" _ h' f4 I: D+ zSpark的编程模型
& n e: `' l& N3 W. J3 | RDD的特点、操作、依赖关系% l7 ?$ J" m! Q/ D8 B5 P
缓存策略
1 l; g: O* P; t 广播变量和累加器
' F! L5 E/ W# l) dSpark编程环境搭建
$ T& \+ o: W$ E6 Q# P1 U5 ^Spark编程实例8 a8 N' R/ }' Y, r) L; c
- p. t! Q$ ?) L# h
第三课：Spark运行架构和解析7 A \- H: ~. f. r$ F) A
Spark的运行架构7 B! z. o5 m4 d
基本术语
% }( q, i8 m/ {" C+ O0 e 运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）9 C0 ^- n/ U0 [3 y: y1 M4 {! Z' V/ b
Spark on Standalone运行过程
1 ]* p# G( B: i Spark on YARN 运行过程
" v( X$ O0 d0 c
" T; T+ W |* X! [0 c& F第四课：hive入门6 S% A4 R! h# M+ G& i( n
hive的运行架构 T7 t% b2 G1 E) l2 t" \
hive的安装- H E1 d y8 @ U- R
hive的实例演示
9 \3 @) ~% Z3 l% t/ `% w8 o' q( ]% p/ \6 K# {+ f
第五课：SparkSQL原理和实践
! M2 Z7 }( W, Q; ~: g! b6 _9 }Spark的运行架构
5 r+ F0 i4 a, F2 K, t Catalyst
' _+ W' w$ H0 w* a sqlontext
' m% `6 ~; v/ [2 X; { hiveContext
8 m, f. n+ b G. F7 Z% UThriftServer和CLI
/ M7 _( F! Q. \/ W ThriftServer
2 j2 S! ]* v) g! @1 J/ A CLI
; V0 v# g6 w& O* Z. F8 C* RSparkSQL的实例演示和编程4 l7 ?0 x2 A" R- M! [
spark-shell实例演示/ m0 O+ y$ Q+ L- `+ v* w, B' S7 O
spark-sql实例演示
2 @. o* J; f6 V( z: ^ E" K4 d SparkSQL的编程
1 ?! l# u/ g+ m8 P/ v- s7 m; {" ] z! @9 @: f1 o% {2 N5 c% @2 D
第六课：SparkStreaming原理和实践 K7 q" \1 b7 {) O. W( ~/ ~4 t6 K3 n
SparkStreaming原理1 z* J/ T' w8 |& K) v+ ?- c8 k
SparkStreaming的原理/ W& U* \& L! w ?; T @
SparkStreaming的运行方式
- x, U' U$ [, I# \# N/ X DStream的特点和操作% F! p9 h0 ?( A0 e( ^0 l- [
SparkStreaming实例演示$ g5 M5 ^; m8 w# A- k
网络数据演示
: s$ ~+ p4 T0 O. _7 A& ?% K& j 文本实例演示
0 E, R* m$ g7 O0 L3 }# E) ^ Window操作演示 $ c- U$ A: T1 j. ?: o
+ @5 U4 h5 }& b2 p2 K6 r# }
第七课：MLlib入门
! E8 q) w9 {* [( |2 B, F2 [什么是机器学习5 t6 _, V8 f2 f ^1 G! Q( u
MLlib的架构' k {7 K2 t7 A# |5 L: {4 m+ P
Mllib实例演示
2 I( O- }2 v- j6 J; M; ?/ j 聚类算法演示2 t* @7 P) h5 J* l4 H
推荐系统演示
" N/ H4 O" r: Z
' c K8 C9 G; p( x3 D第八课：GraphX入门' T$ g8 T+ R/ c2 q, q" k: \
图论基础2 }+ p4 `- B# q- @3 |
GraphX的架构
5 f- z; l! b1 f( C/ _% m3 gGraphX实例演示: \8 n. {- R! q: g
图的基本操作7 b; n* B1 h& i8 ?9 d
PageRank演示
. F: b1 H0 b- G& v9 ^& _
8 y- G; H) q6 P1 T/ z第九课：Spark运维8 e6 q5 o3 `) O+ e( r* K
Spark On YARN
! Q) h$ w/ Y; v: Z; Whistory server. o; I0 P0 N- V9 L. C" a
job server
W( T6 I8 F- H; u! T' [4 L& iSpark的监控
# t8 T, \( `5 g3 B9 t0 l. d! lSpark UI监控
0 s2 t# b+ K( W& `( I6 |' h7 R3 k- v6 \3 S, c( e# w6 p d
第十课：Scala on Spark
2 H! a8 S1 ?: f) D4 O8 {) Yspark常用的scala基础5 ]( e3 m% Y0 U7 Y# x; b8 Y
如何阅读spark源代码
/ Q* n7 r# Y/ \8 Y如何构建spark项目 V) a& ` F- X$ H# F# B+ }9 l. B
: u! J# I2 Y; z- [* b- y4 `
第十一课：Spark编程- p0 P7 J% @* [# h+ j
RDD的编程6 @7 W- }' z% v: P
Spark综合实例（SparkSQL+sparkMlib+R）2 R& _7 \7 ?& ], @4 @" x7 o
1 y7 T- [3 x6 h0 c3 t第十二课：Spark源码研读
7 F1 S7 E$ `" L4 wSpark源码总体介绍
/ W6 ^# g" h: e# WSparkCore源码细解
5 s# q# @" w( k' b8 @Spark Examples介绍3 E7 @( k5 B: _8 ~8 p/ X2 l
4 O7 h2 C0 y7 B. R$ n6 u7 z第十三课：杂谈$ O$ ^" n7 H" E# M' j, J/ n
Spark相关项目4 L8 t, B* y: P6 v! ] U) ~& n
BlinkDB简介
4 X& a! [( Y) k4 k9 r2 P5 U, L: K V; ] SparkR的安装和实例4 d* z1 a+ _& }, O
Techyon
- M! w) I* c- I; e$ ] b. r4 _3 W, L6 ?
4 c& e4 n y) m) b
授课对象：
5 a0 \% k; U: P2 E5 C8 g. x k0 c有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。% q2 y( M F+ O% m6 p8 J
! J2 f- T: L" d7 X# H收获预期：& c$ P4 e# S/ N2 a5 C, u8 h. y
深入理解Spark的运行原理+ V/ b* `2 c. {
学会搭建Spark,hadoop集群环境& \ S% w0 l, r' _& m. t
完全掌握Spark编程基础，了解Spark运维的基础知识
1 f) k3 A* Y/ y0 H4 ?( ~5 G完成大数据入门，可逐渐转岗大数据相关职位。
* _& E: P2 P4 ^5 l5 n0 o0 U
1 T# I" Z5 |- c: Z& f% l3 K
) X% D, a, |6 s( b
7 Z$ d9 h% z! n9 H# R |
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
