TA的每日心情 | 衰
前天 09:40 |
|---|
签到天数: 1356 天 [LV.10]以坛为家III
管理员
 
- 积分
- 5462
|
课程大纲：: g! Q4 N6 e. D9 x
第一课：Spark生态和安装部署. P7 u' Q3 [% Y' t7 `) n& D0 @
Spark概述
7 a; E8 z* x9 f: d; F2 \Spark现状% e1 W" P; \8 q( u$ ^- }# |
安装部署2 i) N0 b; ^+ o8 a p
Spark安装简介
3 b; t+ \/ r) p$ f, \ Spark的源码编译
: _2 N$ ?, }5 o! `2 u: _, ] Spark Standalone安装
. F# X8 M& \& h X1 M- J Spark Standalone HA安装 8 z7 v% i: V: Q* W0 }: S, T& Z
Spark工具
1 L/ M% H6 G" w# | Spark交互式工具spark-shell O8 k& \( d& K; w) m) R( M* e
Spark应用程序部署工具spark-submit/ G" ?# _5 |) ^$ L9 I/ q! [; X
. L |8 i" _. t$ z0 y0 `; E第二课：Spark编程模型和解析
0 n) s0 I b! Q9 `0 aSpark的编程模型
2 ^6 c6 F. _5 `- N$ \ RDD的特点、操作、依赖关系, G; F! }( g- r: \6 R, N; G
缓存策略
, k% @! J- C/ a) h 广播变量和累加器5 L5 |- Y5 ^6 t3 W
Spark编程环境搭建
$ I- L1 _1 d$ }9 t' {( F+ |; VSpark编程实例 t2 m( S2 m0 P
$ B# b' v- q, x( [8 ? f( t/ D
第三课：Spark运行架构和解析$ \' w3 v) \# C8 A
Spark的运行架构! S0 {" i. W! A$ @% C1 k$ {6 x" h
基本术语) G. i3 p/ I7 G. W2 c
运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）: \! g( Q4 @6 l
Spark on Standalone运行过程
0 V, X9 y2 ^$ D- J# a( @ Spark on YARN 运行过程0 k9 T# N$ | @! Y
2 b# t6 C+ o: m* r% A; l% ?第四课：hive入门8 ~: F( o2 s3 Y/ N, p3 h4 S+ e
hive的运行架构
7 V7 a' c4 y7 V- p& \hive的安装/ y; A) _9 ^( |: G4 s) U
hive的实例演示
% H4 t8 a, j" n4 U0 e# T' r! c4 D3 v. I a+ D, k; @- y
第五课：SparkSQL原理和实践
' Z" {4 g x$ sSpark的运行架构$ ?0 D0 N' i: F( p% ]2 X
Catalyst
5 \0 O; Q1 v [- N& G1 u sqlontext2 ?; x! [; w4 j
hiveContext
: I$ Z9 x7 [4 h0 LThriftServer和CLI, E+ c) y9 S9 D6 ~6 v. W- d
ThriftServer+ W' q( d! ]0 J
CLI. g7 f) g" k$ J0 B& y* _0 ?
SparkSQL的实例演示和编程
8 ~3 ]5 P5 \0 x0 x spark-shell实例演示6 n- T! h# E+ B. X
spark-sql实例演示
& Q. A0 N! B$ l0 ^; X, h, O SparkSQL的编程
* A! u+ Q% F* |( ~. T" K/ l. P' p7 y% L# p" u: z
第六课：SparkStreaming原理和实践
2 I( Z: |2 }8 o" }0 n6 Q8 pSparkStreaming原理7 |5 c- H9 b; R5 ~: L
SparkStreaming的原理3 F2 r0 Q, z3 V& N" G
SparkStreaming的运行方式 9 V' @: \/ @! } l6 m. ]& b- Q+ \
DStream的特点和操作
8 E! B( N/ v# }SparkStreaming实例演示! y; @5 ^5 o* r) n6 }2 e* m* \3 x
网络数据演示. K% H' t3 ^, p6 p2 S" I3 D$ G: `
文本实例演示
5 L2 W$ ^9 W# o9 a Window操作演示 4 \: Q6 @6 P' C7 I
4 c9 K9 w4 n9 ~" B# ]
第七课：MLlib入门
3 Z6 \% Q2 ]; t5 s1 ?什么是机器学习
+ V) C. M$ T/ t2 W. \MLlib的架构" \; f+ d" o4 r3 C' `
Mllib实例演示
5 [1 a( S$ U4 G# u, S 聚类算法演示( i+ P, A" K: a$ V6 d
推荐系统演示 $ M; m) y9 n: l' P2 K% V! k0 L0 e
- p3 Z7 _4 g' A: A第八课：GraphX入门2 W( }/ Y; L: G# R `
图论基础
% f! U9 x0 V h$ j2 E: dGraphX的架构
2 _1 I6 M- J+ z; c" ~$ V: b6 PGraphX实例演示: Z( V' Z- A C. G$ o& N
图的基本操作+ s* \8 T- k. }. _( E6 }$ b" E
PageRank演示1 N. g7 \) T( N! a
! ^9 S' F Q3 b) V% l2 H; b/ p. U$ r* k第九课：Spark运维( Y/ m) U9 C% e
Spark On YARN
; ~- j z, k' F* S9 [/ _: Khistory server$ w8 x5 v; c& K# v
job server/ _, o' [2 J: p
Spark的监控
4 h$ |- [) K$ F: pSpark UI监控
- b9 n; j$ O; t! H" h# n4 N$ V6 |
第十课：Scala on Spark+ a: h/ K- X) j4 {, T6 M5 B1 V
spark常用的scala基础
! d- s2 B5 C2 X; O- D5 G; i+ L如何阅读spark源代码
, c/ k4 o8 i% r2 z# t* n如何构建spark项目- A3 q3 x/ X2 j: ]
% A7 m( O- R; Z/ E. D' X! i! m) e
第十一课：Spark编程3 r+ `- V; g" j9 C! t* c# D/ }& `
RDD的编程, G$ V" U) g( Z! w8 S" a
Spark综合实例（SparkSQL+sparkMlib+R）5 J& [' Y& }+ o) e: x" ]2 X
' d: N. t$ |! W" W' E. ^第十二课：Spark源码研读
/ K( I0 Y6 E0 v; |Spark源码总体介绍
9 x: @9 y( O( USparkCore源码细解 7 H8 u9 V. z$ m) I
Spark Examples介绍' S* T) c& L# U# F$ o
2 ]$ V% u* B' V1 m8 W
第十三课：杂谈5 V- {# x; u* D" N9 h
Spark相关项目
; A7 W4 t8 w5 A# J( z2 m: ~, P) ]) [ BlinkDB简介5 v5 A& z! U- z- e/ D. V
SparkR的安装和实例
( b! f: [6 M, q: z/ r Techyon- u6 l. Z1 s7 \7 v+ s
5 Q: I/ v4 ` ?% S! w; I. p. L
' O6 A5 [# c, ]( U S授课对象：' x. x# S% A7 M5 d; M
有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
~6 S. L) [9 c/ R% \( Q& n* {
" t8 r7 e& n& P, ^+ Y5 m* \收获预期：& ]/ p9 Z3 }" u9 ]. f
深入理解Spark的运行原理6 G ?/ W2 R, ~1 B& G
学会搭建Spark,hadoop集群环境
, B7 H& Z" [/ H; A# S" l! }) o; h完全掌握Spark编程基础，了解Spark运维的基础知识* o# R! J+ n8 S2 t. V- |# c+ ]
完成大数据入门，可逐渐转岗大数据相关职位。
+ J! |4 o$ S% d+ q
, ^% \- q2 k( n* B3 l' c2 R5 B& ~: p4 j1 T2 x
) J" V/ y ~& K# o% k/ z
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
