TA的每日心情 | 擦汗
1 小时前 |
|---|
签到天数: 1440 天 [LV.10]以坛为家III
管理员
 
- 积分
- 5941
|
课程大纲：
: ^; D# c7 U3 I7 e0 M1 ?第一课：Spark生态和安装部署* v( Q' y: O8 T0 v7 Y
Spark概述: H( o8 D E9 J
Spark现状
% M' Q' j4 Z) u5 E; s安装部署4 h+ \; u- M6 M6 |! {' h" v
Spark安装简介* a. v, |8 x/ e" q4 a. \- x6 D
Spark的源码编译5 X# d( q8 [" K
Spark Standalone安装
9 `# V6 n0 g9 K0 O& u: D7 G& q$ W Spark Standalone HA安装 - w7 a) R% b+ B+ v: D, j5 L: N" L
Spark工具
( I. M( C9 |5 @ Spark交互式工具spark-shell
2 H' P6 q3 }) ~/ d# ~% G Spark应用程序部署工具spark-submit
1 K" V. x$ w8 {8 Q/ Q0 b
& V7 k: s! u9 W; a/ E1 o第二课：Spark编程模型和解析$ S2 N5 I9 ?- ]3 ^& j6 J0 E
Spark的编程模型 - l/ ]4 G* _. \8 F4 A1 M, |
RDD的特点、操作、依赖关系/ y/ H* {# ~6 T; a' D
缓存策略
: Y" O5 Q+ c4 J* U6 @ 广播变量和累加器
9 ?. g9 o Z9 s% g) C( }0 PSpark编程环境搭建
2 i7 R; S+ g( @3 I+ ZSpark编程实例! }' q" p4 w: L
" g- V. J S2 U5 R( f第三课：Spark运行架构和解析
; K/ o6 m. b% @6 j4 M. @Spark的运行架构
3 ]9 S9 F9 O+ ?% A 基本术语
" Z. u1 D' r: \9 u0 I 运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）
" q8 U7 e3 C2 t/ m* @3 n Spark on Standalone运行过程
& c+ a `0 y3 ]1 P4 b1 T* ?5 g, R Spark on YARN 运行过程' [/ g4 ^% F6 F$ x$ o4 |5 D
1 Y, e# X8 b2 G; O f# N
第四课：hive入门
# g1 q5 s6 V0 `& L! T# U- b6 ~hive的运行架构
2 o x% @: u: o' m( G0 d5 s) P" @) shive的安装+ }7 [9 H, H6 B
hive的实例演示
* k7 d( u* Z" q) Q. J) n- A# A6 v( B/ o! l; @2 [
第五课：SparkSQL原理和实践
! m" p" Z- V% i2 G ~$ M' bSpark的运行架构
. O3 i! Z% n% U Catalyst1 i0 y# o) `" n
sqlontext
5 `% C$ [& S3 m' a hiveContext2 X1 N% k5 O( E) S5 j- F
ThriftServer和CLI! J* B. K' [4 p! }$ X
ThriftServer
4 H7 {+ [' y5 u. G7 A4 F CLI
% {8 N* r4 d; a$ W, e+ p7 FSparkSQL的实例演示和编程; w( j g2 E7 \& W, Y4 j& U
spark-shell实例演示* I3 u- j: P9 [( N/ A2 o
spark-sql实例演示. z/ s1 A/ `6 i3 s Q7 S7 l
SparkSQL的编程
3 q( P* O0 N' o* D, r% O( b
; i1 Q+ P+ [) Z9 E第六课：SparkStreaming原理和实践" A: {% s, S! t. a" l
SparkStreaming原理, i9 ^: L/ v9 I; g% E
SparkStreaming的原理. o. f9 Z& N# B. x/ d4 q: p2 z
SparkStreaming的运行方式 : s3 I5 u/ ~! n; X, f
DStream的特点和操作
# V% N2 S B* C: G- USparkStreaming实例演示
9 I2 ^/ f& }8 q+ P- V1 ~0 l7 u 网络数据演示0 o# j5 O0 i5 z. \
文本实例演示- G( M4 {0 ]5 n/ D
Window操作演示 : Y8 E; b6 J: Y: }
6 w) R9 B+ V6 W3 q$ c
第七课：MLlib入门
' |/ p: w/ J, D$ i( m9 e什么是机器学习! |3 s% _2 Z( m0 p+ n% ~. w
MLlib的架构3 b1 q: H3 D6 _1 ^! P- N- z% V
Mllib实例演示) `3 Q, k6 v& Z0 `7 n0 z" d$ c# S
聚类算法演示
5 }6 i7 r! A5 \' q9 t9 H: J: W 推荐系统演示
) _% Y. k' o- h7 x- H+ y' A) S/ J0 u; V* S0 @( E
第八课：GraphX入门7 P" w# H U" ?6 B" s7 o. Q3 ?
图论基础
0 {0 O. ~" G' `$ G2 Y# _GraphX的架构9 l) L) d$ o' u2 j
GraphX实例演示
* g1 U2 b% u! \1 w/ h% a7 q 图的基本操作2 J9 ?: ?% H+ F& f6 @! j
PageRank演示! y( J8 C) i, T* Q2 x
0 D! i. \5 Q1 t$ R
第九课：Spark运维7 z7 r2 p. \9 b8 L6 B+ D- y
Spark On YARN 8 ^1 r, D$ ^6 y2 w+ Q o1 K
history server
( ?0 D9 @' ]; n& x9 t) f6 Ujob server. A3 G8 Z3 U9 }: u7 b- w6 _
Spark的监控$ t9 \- g9 H0 ?' g. A/ C6 \; ~" d
Spark UI监控
0 @% e1 y L1 O0 T& L3 `& ]9 j, n- `: D; n( e: p# X* P V
第十课：Scala on Spark
9 k) Z. v) @: U. {7 x8 h' H8 v( Y2 qspark常用的scala基础
, r: l/ _7 N5 l3 C- l* l如何阅读spark源代码8 b' |4 X% l7 ~9 q, i2 _ \1 q
如何构建spark项目4 J- O% }! M9 u9 {. e3 }* t
8 C7 Z. k, I) d0 n6 a2 X
第十一课：Spark编程: R9 W% s, U+ k9 ~- u" V8 d
RDD的编程
! i! U! v; @* W0 N' X4 U+ USpark综合实例（SparkSQL+sparkMlib+R）2 `/ Y; M# H" \+ a
- B7 b1 u1 T5 S; G5 z
第十二课：Spark源码研读9 T3 _' r/ p" Y8 z; z
Spark源码总体介绍& k: E7 M W: R4 ^6 a
SparkCore源码细解
$ m3 ~( w% c% t. F) Q- pSpark Examples介绍
- W! g* u$ }! C2 r
5 I+ n- y3 Z0 H; |第十三课：杂谈- e8 ~/ U8 E4 e0 f; j( y$ }
Spark相关项目
; H( S/ S& i7 c' N1 L \5 k BlinkDB简介
( M$ I; ~+ F+ } SparkR的安装和实例
& ^* t7 j" p, j" p$ m% B% Z5 E Techyon
6 ]; K! ~5 q2 P0 |4 C0 \
7 y! p/ l6 p" s* O3 W+ p8 v% A: R% F
授课对象：3 f1 a2 x- l9 S# u7 P9 r$ a
有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
* Z/ F' ]3 \% D8 {$ ^, b) {1 D
/ z& g" p' F% N1 s5 X: c! p' Y收获预期：- g5 ]: q" s: n
深入理解Spark的运行原理
% R+ n7 Y) h. \7 z学会搭建Spark,hadoop集群环境
2 j7 Z3 B& T Q完全掌握Spark编程基础，了解Spark运维的基础知识7 M2 x& |2 v0 F0 D0 u$ `
完成大数据入门，可逐渐转岗大数据相关职位。' {/ Q. O1 A* {6 I
, w; u( e0 D s0 \( W# K* v; V
- @) s5 N& h1 M. A5 F4 p9 z
: j* D, u6 y+ L. L7 O: l5 p' ]
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
