TA的每日心情 | 怒
1 小时前 |
|---|
签到天数: 1107 天 [LV.10]以坛为家III
管理员
 
- 积分
- 4249
|
课程大纲：
4 d5 {: T& B& }3 B第一课：Spark生态和安装部署1 I9 i& ~; z( {
Spark概述' a# z9 g) g1 `4 R
Spark现状
% e! P7 A$ l: ?7 N6 N安装部署( K8 j3 V& _: ]" q9 L
Spark安装简介2 O& i/ W- b- w6 d7 j
Spark的源码编译
/ l3 C) U6 j) Y, C' v' s$ E5 y Spark Standalone安装
& E4 H9 w8 ~2 I' Q Spark Standalone HA安装
0 u; F, p+ ?+ D6 J `. D3 SSpark工具
, k: ]: Y$ ~% W Spark交互式工具spark-shell& Y3 K) X9 S! R# J
Spark应用程序部署工具spark-submit- K' O1 X K4 H# I
: R( Q. t* B+ ]$ a* A: \: r第二课：Spark编程模型和解析
; d7 o; t6 ~$ ^! NSpark的编程模型
, ?6 V" @0 s# Q" W" Z6 l- ]2 s RDD的特点、操作、依赖关系: J2 e/ O& X1 O) i+ B
缓存策略* z' Z$ D" i+ b& B. O
广播变量和累加器
) I: Z& e6 {1 Z* cSpark编程环境搭建/ Y: [- j4 m! d [* `8 Y$ l" j
Spark编程实例1 G9 ?) a" {/ T q7 z" ?
1 T4 m8 @# h M# [ z" Y2 [
第三课：Spark运行架构和解析
/ V7 v, ?) j, P6 Z) ~6 e) XSpark的运行架构3 I' N5 l6 Q2 u& j9 w% k; ]6 ]8 k
基本术语3 R# T( C" C# P7 \! D4 j
运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）1 Y$ Y# { C2 r% D
Spark on Standalone运行过程
& K4 d2 X1 v# Z/ _ Spark on YARN 运行过程
. K9 K2 D) O, L4 q
) M" K* z) n6 @0 [) T1 C' l第四课：hive入门+ \: P, m' p, Z6 x$ D3 D7 w4 o/ z
hive的运行架构
2 y6 I( M" h) q7 f5 S6 p; s9 Khive的安装5 L) u0 a$ |: M/ |5 e
hive的实例演示# ^& o* }/ h# y! a; y
0 M e ]; X6 l) ]1 `8 E第五课：SparkSQL原理和实践+ e) Q2 H1 i. O- m- ]$ u
Spark的运行架构' B& r' T; ~+ f O. L
Catalyst2 c0 ^5 @) U( M# n5 @7 c
sqlontext
2 h0 n! T7 O$ R hiveContext; N" E( l5 h4 z S5 y: b* h$ y4 S
ThriftServer和CLI: L/ w* O! Z8 |( i
ThriftServer5 @8 i" `5 F& Y$ U* ^/ p' @
CLI+ L2 I. C7 U. J" n: z0 [, m2 F
SparkSQL的实例演示和编程% a& b4 J, v. _
spark-shell实例演示8 _ {' ], W: H" w) Z/ G. n
spark-sql实例演示$ T2 k, B3 U$ g4 Q* |# m9 D
SparkSQL的编程# o/ ~& @. ?/ y4 A3 G3 k v
4 U6 g2 _: k# \1 k* [+ ]" x
第六课：SparkStreaming原理和实践
1 C9 h" ^0 C- X: fSparkStreaming原理& F0 @3 r) J/ [3 Q; |
SparkStreaming的原理
2 N5 b3 s( I- p0 B' g SparkStreaming的运行方式 - k8 N2 W e/ x. p! A( U( b
DStream的特点和操作
3 i; a6 x! A; Z& t6 L+ s$ TSparkStreaming实例演示9 ^9 a2 r/ L7 T
网络数据演示
( ?' B; }6 v7 u5 K2 r8 J 文本实例演示9 r* w. `# f& {0 {( ]* _- F, G7 ]
Window操作演示
p! ~7 u# f4 e8 U1 Q. n
4 d, c/ b* Y: l# Q+ X第七课：MLlib入门
7 M# m& E7 G* L' q0 W `# L# i什么是机器学习
" X4 N/ w8 Y3 t1 }0 _/ t. dMLlib的架构
/ y2 [# N; S# V/ T* ~0 ~Mllib实例演示
% s* v9 Q0 q2 ^ 聚类算法演示
+ Z L0 o8 r) L" a 推荐系统演示
3 |# N+ {# s d7 a# s5 e5 d; R% X' d5 t5 C
第八课：GraphX入门
4 }: `( b$ @$ H8 w3 F# h7 n8 M! B% M图论基础
1 B2 u3 ^3 d7 X& P3 Z8 }3 D N8 fGraphX的架构
3 e5 A) g2 `2 c; V$ v4 \GraphX实例演示
, o6 L+ O0 [& K4 S" z, q 图的基本操作
% u U+ a, L! N+ o% a( q PageRank演示
1 f" q2 E6 X* I; g& B+ J$ G
+ ?5 T3 m2 k v' j第九课：Spark运维
! I# `8 ]3 s2 X0 [Spark On YARN
- A$ P" B" |4 I) h, m E0 Ahistory server! q7 o$ l! k. o
job server2 c( F( n) z q
Spark的监控4 E& C1 F2 y. l+ l8 Y; S
Spark UI监控0 j, r0 }8 s# X) Z; y3 i! a
9 C- `1 L6 J v( N6 N: A( t" r, \
第十课：Scala on Spark) _/ s+ ^; T# p. b0 ?! E V4 }4 f- X
spark常用的scala基础# e, x6 J' k% o; t+ ~
如何阅读spark源代码
/ z! V2 q1 R6 b/ i3 c如何构建spark项目
4 p% C4 ]: r/ S, V2 U, y' Q3 b3 N1 \; S" a& j5 R
第十一课：Spark编程9 h- T; x; d- S$ n5 V- |5 t: H
RDD的编程
J2 a C. Y- l* SSpark综合实例（SparkSQL+sparkMlib+R）
" P, J7 E$ T. Q% U" W" V- z ^4 `- j+ P( ], k3 X' O
第十二课：Spark源码研读5 i$ v- w. ?( O l& j( @
Spark源码总体介绍
4 p+ U; b5 y2 j p4 ]) t' p" J+ o# }6 GSparkCore源码细解 3 _' {/ P; K) [$ ~' C+ `
Spark Examples介绍
: d$ j7 C: Z; h9 H: e
- A2 a* C* B. G- A+ }第十三课：杂谈9 |. E1 {1 Q- R2 ]' W
Spark相关项目1 o; a0 m) X8 C6 t$ \" Q
BlinkDB简介
0 D7 o, A, i! ~% n SparkR的安装和实例
3 l/ a$ r, y% Q3 C Techyon
9 O+ ? ?5 D, H5 p2 ]
7 s/ e' \: _" k
7 j) b+ [8 q8 y$ R授课对象：
; i% s6 L3 n C+ t* I有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
4 _4 j* y6 m6 r' o& o# B3 Z" ]2 o0 o& ]& l! F" j
收获预期：
( D2 {% z5 C8 l* l" ~6 B2 f, n深入理解Spark的运行原理
6 Z- E( V* D3 E3 R/ `* \学会搭建Spark,hadoop集群环境
9 c J7 a, G; t f4 _) [" o完全掌握Spark编程基础，了解Spark运维的基础知识
) P8 @/ q% S# X/ S! f完成大数据入门，可逐渐转岗大数据相关职位。& |& a V! v3 f F5 u4 `
5 V2 \0 ]/ ]% `9 j2 P8 z |
: @9 p# E) C) g0 A7 m+ y! k5 w8 }' ]5 G* E* [/ a1 f" }$ `: Y
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
