TA的每日心情 | 擦汗
昨天 18:09 |
|---|
签到天数: 1049 天 [LV.10]以坛为家III
管理员
 
- 积分
- 3977
|
课程大纲：
2 j! z% @! s$ Y+ H* a第一课：Spark生态和安装部署% P- w& K: H5 w
Spark概述* X0 p( v. \+ D
Spark现状) P U$ U* L5 \* S9 w/ A
安装部署- Y& `& b) R* q. l% i# K
Spark安装简介
0 m5 M9 v5 p7 O9 @7 P Spark的源码编译
1 [7 i; ~7 x9 o7 g3 y* r Spark Standalone安装
* r& t* Q! l8 |( f1 E+ O Spark Standalone HA安装 ) p! f# |: q3 s% i6 x
Spark工具# x( f2 q4 S' U
Spark交互式工具spark-shell3 T7 ?& y2 g- ~/ q; k' m
Spark应用程序部署工具spark-submit q* m+ e9 m, n$ g- @0 E
0 g( R, U/ e5 b, I第二课：Spark编程模型和解析# |9 R6 o: T; t. F) B
Spark的编程模型
. I; e5 ]0 E: O0 j% v RDD的特点、操作、依赖关系
% h: {+ Q, [& D# o2 h7 D9 N$ O 缓存策略( X+ c# {( ^9 D5 m9 U
广播变量和累加器- J. ?4 B! B' R4 C9 a* {
Spark编程环境搭建
8 Y& L) f6 e* B: OSpark编程实例
2 b& R" f! _+ k, ^$ ]
) N( h* R+ Y2 x; b" v第三课：Spark运行架构和解析4 D( s8 Y# c/ ^" Y
Spark的运行架构9 s. e4 t7 k- M6 ^8 c3 r& z% e
基本术语# Y1 |6 z" F! a+ j/ ]* B$ V
运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）, k9 v3 o0 r2 z
Spark on Standalone运行过程
) F- x H; D' |4 E5 C Spark on YARN 运行过程! f0 Q6 M& H( @5 b: Z0 R- I
) o* N3 J. e* w, u( K# W第四课：hive入门" \4 _: S( t9 F& B& [ b
hive的运行架构% G5 Z# v |, s& R3 b- [
hive的安装
/ h" g' u! j9 s: z9 O. C2 @hive的实例演示6 Q( q' ^! ^3 V2 y) K" B
8 x+ _' k8 F$ Z& p' G& B0 |1 s
第五课：SparkSQL原理和实践
- Z6 t* ~0 d) K. b$ j+ NSpark的运行架构) k- H* p$ F+ i/ L3 ?5 j2 ^
Catalyst
9 w3 Q4 R9 M4 {2 N4 u5 T sqlontext5 l) l3 o. C$ \- W7 v; t( V+ W3 J
hiveContext
v. a5 [2 z/ g; fThriftServer和CLI2 F( \' ?' j0 q; q
ThriftServer
# G; ]- }; D- n2 u2 A6 Y& g; i' ^5 T CLI
# O, h: z8 `* ASparkSQL的实例演示和编程
3 E) p: o8 u7 E: Y/ t spark-shell实例演示
) o' Z* e. R- ? spark-sql实例演示6 r7 d7 K4 q$ Y. t: P! d
SparkSQL的编程
7 B" Y- ~& c. ?' {# Y
6 V% A. `/ n; b$ }, D0 q% g第六课：SparkStreaming原理和实践
& ^" \0 H5 Y0 Y& r1 o) C- NSparkStreaming原理
3 _: f0 |+ @5 S* y SparkStreaming的原理
6 ]* c+ M. @1 N& o$ U$ T$ X& k SparkStreaming的运行方式 7 g: [6 W+ W" S1 V/ Z0 S% J
DStream的特点和操作) y+ b5 x: q5 H; q: \% f! v
SparkStreaming实例演示# @5 `. J" i; Q. d; b7 T
网络数据演示
, g; S, w$ B4 Y5 w! ^$ ~ 文本实例演示
/ F) e8 n4 R0 E( F6 S Window操作演示 ( p; C- Q0 }8 P4 U& g
# p. F0 l( B; K第七课：MLlib入门
2 _: D# d. c* T什么是机器学习9 G3 v# ]7 T* P$ @/ o* s7 [
MLlib的架构
7 t) d5 \" S" Z6 b5 V7 V7 j* E8 w4 Q" |( }Mllib实例演示1 g3 v( E X7 O' l# n
聚类算法演示% D. u+ F, l! G9 Y8 J
推荐系统演示 7 E6 C7 c+ N, W/ q v, Y8 o4 q2 E
8 j; I" o* K. e. K
第八课：GraphX入门) ^, `& g( G. M3 G
图论基础
; I- R. k" L1 @( T" U8 hGraphX的架构 R8 y# M; Q7 i y" k
GraphX实例演示
, @2 R$ H2 ]+ G' B2 p$ Q9 e8 c9 S9 I- } 图的基本操作
6 p7 ?3 z; L+ _9 p' ?) _) w9 E. M PageRank演示: [- t2 e8 X# G* w2 v" ?9 p) j; e
4 ^! w& w4 F- m+ x/ I) ?
第九课：Spark运维
* Q9 m, |1 A" ?8 TSpark On YARN " k) P# ~4 R. S4 h K0 {
history server
" m2 v3 }) f+ q* Mjob server* l2 ^- X9 Q% l# L
Spark的监控
$ y7 Y# [) W. C0 Z M& xSpark UI监控6 K' ^; Y; Y6 D9 O' D
3 C) t3 Q1 }: i第十课：Scala on Spark9 u0 Y$ ~4 }0 X7 k0 Q" a4 W
spark常用的scala基础8 Z0 F' H( i$ m, _( m) ^% p, k
如何阅读spark源代码
_, p8 d9 O( M) J! H* O如何构建spark项目
* B. l* v+ C- K9 B8 _6 v
# f/ C4 z9 {4 c- a第十一课：Spark编程4 O4 Q Y% O, L" {* q
RDD的编程" Y9 H2 G$ q) Q
Spark综合实例（SparkSQL+sparkMlib+R）
- P7 I$ S9 W! c2 {* z4 T0 O. Q' ~- t3 S6 k& ~0 u" V) |6 S
第十二课：Spark源码研读
7 m. v8 |+ R6 g6 ?, z- b- ?! n4 jSpark源码总体介绍9 P% r; P- e& x8 F2 T
SparkCore源码细解 : r/ W! S' s$ b K) _
Spark Examples介绍" t O$ s# k6 \; U N$ b4 y
1 O1 f' d( z% w( x; H* D
第十三课：杂谈5 ^6 H2 F' i( z- t
Spark相关项目7 S4 O, f$ J- M# f
BlinkDB简介0 p5 I6 R/ ^6 t! }# D, x
SparkR的安装和实例
1 Q+ ^( W7 m0 z- v; ? Techyon3 g, A. A* q6 v7 x
/ {2 v: U K' \, S7 e& K
2 N. I2 P) B" D0 x, I/ A授课对象：- S6 u1 E& q+ Y4 z( n1 A
有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
* b9 Y6 C- P' u7 Y, }$ x4 F, r% Z, Q4 Q% M" {8 M/ J/ W- Y
收获预期：1 {3 q+ [9 U0 ~" b/ p. n- D
深入理解Spark的运行原理8 K; N! f8 L6 ~3 W6 c
学会搭建Spark,hadoop集群环境# l' y, t8 v. a6 C0 E
完全掌握Spark编程基础，了解Spark运维的基础知识
! |2 X; d+ ^& w# u& V* ]0 A完成大数据入门，可逐渐转岗大数据相关职位。
* U1 `( u# R: T9 \# r6 ?
2 a3 [; p. Z# d# a9 D o. X N/ n3 y3 G1 ?$ p# P* A; }
2 |3 i+ ]8 x- w$ C
|
|
[复制链接]
发表于 2017-11-17 09:25:24
发表于 2017-11-17 09:35:37
