1. 基础编程知识夯实
7 k! l! g. d2 u3 J* d) l. O- ~7 W5 {2. 数据获取与存储技能实训 $ ^$ H, {* x8 k; s2 d% }) X6 }
将学习到爬虫相关知识,对网页信息抓取,清洗,解析与存储 配合课程讲解与云平台练习及小组讨论,你将掌握对工作所需或感兴趣的数据(网页文本、图片等)抓取与解析和数据库存储相关技能。掌握scrapy库对知乎和微博、豆瓣等的数据获取和存储案例。 试验编号SXY002-网页爬虫数据,知乎、微博与新闻网站数据抓取与存储(有更好玩的随时补充)
, t, e2 O" _9 F1 n9 j
3. 数据分析技能实训
" F( O' j& I* q1 l3 o3 @( C+ w2 `5 w
4. 可视化技能实训
% b w& B: ^$ \) j9 B将学习到几种可视化库与工具对全局数据和结果做可视化,动态展示结果 配合课程讲解与云平台练习及小组讨论,你将掌握使用matplotlib和seaborn等对数据进行同步分析和可视化展示的能力。 SXY004-数据可视化实验,基本的分布与曲线拟合绘图、交通数据可视化、美国大选数据分析可视化等 。
. m4 z, L5 v; U1 M, P
8 W f6 F2 L# w6 \5. 大数据技能实训
?; y6 z6 t3 H& R% R3 u* `# z将学习到hadoop相关知识,基本Map-reduce原理与spark知识 配合课程讲解与云平台练习及小组讨论,你将掌握hadoop部分组件使用方法,手写map-reduce解决大数据处理的方法,及spark完成统计和简单建模的能力。 SXY005-大数据技能实验,手写map-reduce完成大数据的统计,海量文本数据处理,spark大数据处理示例、spark mllib分布式机器学习简单建模训练 * V/ i8 m2 S& e/ Q; X( K( `
7 e8 l1 M3 g+ w9 Z6. 机器学习应用实训
. ]- _6 S+ b# W% _) W3 l" k9 [; r将学习到针对已有数据进行特征抽取与建模,使用机器学习辅助问题决策的知识 配合课程讲解与云平台练习及小组讨论,你将掌握在已有数据的基础上,如何结合问题场景,进行有效的数据处理与特征抽取,并在此基础上使用多种建模库工具(scikit-learn、xgboost、lightGBM,liblinear,libsvm等)进行机器学习建模与应用的能力。 SXY006-机器学习实验,Kaggle泰坦尼克号之灾、自行车租赁、房价预测、电商销量预测、新闻主题分类、文本褒贬分析等案例
5 Y% I! k$ M5 A* a/ x' ^$ V! u 0 m& b0 f! E) P0 n
) C. e) o I: f; L; Z: l
7 |" E$ ~- B7 G- g: a7 N k7. 综合应用实训
/ c' u7 G1 `8 C5 Y" u) Q* f将完成从数据获取解析、分析可视化到机器学习建模应用的完整案例 配合课程讲解与云平台练习及小组讨论,你将掌握数据科学完整的流程,并能独当一面完成在公开数据(微博、知乎等)上的应用项目。 结业项目,包括数据采集、清洗、存储、分析、可视化和建模等流程的标准化项目。 5 m2 s4 B" J, Y0 `
整个流程如下图所示:
+ x; Z# J6 l5 k+ G/ |* P( O: `3 s% {' I }* Y; K
整个过程学习很烧脑,同时也要严格把控自我时间跟上魔鬼的步伐,一步两步三步,找准自我的节奏~ 1 I8 C0 Y( o L! S/ g& l9 W
$ b+ {7 A! G6 i' Q3 j. s# p
链接: |