任務(wù)一 搭建Spark 開(kāi)發(fā)環(huán)境

一、任務(wù)說(shuō)明 1

（一）學(xué)習(xí)目標(biāo) 1

（二）思維導(dǎo)圖 2

二、知識(shí)引入 2

（一）Spark 概述 2

（二）Spark 整體架構(gòu) 3

（三）Spark 運(yùn)行流程 4

（四）Spark 和Hadoop 的對(duì)比 5

（五）Spark 發(fā)展歷程 6

三、任務(wù)實(shí)現(xiàn) 7

（一）安裝虛擬機(jī)軟件與虛擬機(jī) 7

（二）安裝遠(yuǎn)程服務(wù)器管理工具 14

（三）安裝JDK 17

（四）搭建Hive 環(huán)境 19

（五）安裝Spark 分布式獨(dú)立集群 24

四、知識(shí)拓展——基于Spark 技術(shù)的國(guó)家數(shù)字化發(fā)展戰(zhàn)略引擎 31

五、任務(wù)考評(píng) 32

六、任務(wù)實(shí)訓(xùn) 33

任務(wù)二 項(xiàng)目數(shù)據(jù)采集

一、任務(wù)說(shuō)明 35

（一）學(xué)習(xí)目標(biāo) 35

（二）思維導(dǎo)圖 36

 二、知識(shí)引入 36

（一）數(shù)據(jù)采集的概念和常用工具 36

（二）數(shù)據(jù)采集的多元視角與深度實(shí)踐 37

（三）Sqoop 概述 38

（四）Flume 概述 39

三、任務(wù)實(shí)現(xiàn) 40

（一）Sqoop 安裝 40

（二）獲取電力離線數(shù)據(jù) 42

（三）Flume 安裝 45

（四）準(zhǔn)備電力實(shí)時(shí)數(shù)據(jù) 46

四、知識(shí)拓展——數(shù)據(jù)采集是大數(shù)據(jù)平臺(tái)建設(shè)的關(guān)鍵數(shù)據(jù)入口 49

五、任務(wù)考評(píng) 50

六、任務(wù)實(shí)訓(xùn) 51

任務(wù)三 探索Scala 編程方法

一、任務(wù)說(shuō)明 53

（一）學(xué)習(xí)目標(biāo) 53

（二）思維導(dǎo)圖 54

二、知識(shí)引入 54

（一）Scala 簡(jiǎn)介 54

（二）Scala 基礎(chǔ)語(yǔ)法 56

（三）Scala 數(shù)據(jù)結(jié)構(gòu) 61

（四）面向?qū)ο缶幊?62

（五）模式匹配與樣例類 64

三、任務(wù)實(shí)現(xiàn) 67

（一）Scala 的下載安裝 67

（二）統(tǒng)計(jì)某日某省電量使用總量 76

（三） 按日對(duì)電量使用量分組 78

（四）按照指定日期查詢電量使用量 79

四、知識(shí)拓展——Scala 語(yǔ)言在大數(shù)據(jù)開(kāi)發(fā)領(lǐng)域的廣泛應(yīng)用 80

五、任務(wù)考評(píng) 81

六、任務(wù)實(shí)訓(xùn) 82

任務(wù)四 揭秘彈性分布式數(shù)據(jù)集

一、任務(wù)說(shuō)明 85

（一）學(xué)習(xí)目標(biāo) 85

（二）思維導(dǎo)圖 86

二、知識(shí)引入 86

（一）RDD 技術(shù)介紹 86

（二）RDD 算子處理 90

（三） RDD 分區(qū)和依賴 96

（四）持久化與容錯(cuò) 101

三、任務(wù)實(shí)現(xiàn) 104

（一） 以電力數(shù)據(jù)創(chuàng)建RDD 106

（二） 查詢電力使用最多的5 個(gè)日期 108

（三）輸出電力使用數(shù)據(jù)的總使用量 111

（四）輸出每個(gè)日期電力的平均使用量 113

（五） 將匯總后的電力統(tǒng)計(jì)數(shù)據(jù)存儲(chǔ)為文本文件 117

四、知識(shí)拓展——RDD 作為Spark 架構(gòu)的基礎(chǔ)支持各類應(yīng)用場(chǎng)景 120

五、任務(wù)考評(píng) 121

六、任務(wù)實(shí)訓(xùn) 122

任務(wù)五 Spark SQL——數(shù)據(jù)融合分析

一、任務(wù)說(shuō)明 125

（一）學(xué)習(xí)目標(biāo) 125

（二）思維導(dǎo)圖 126

 二、知識(shí)引入 126

（一）Spark SQL 基礎(chǔ) 126

（二）DataFrame 基礎(chǔ) 128

（三）DataSet 基礎(chǔ) 138

（四）常用操作 142

三、任務(wù)實(shí)現(xiàn) 143

（一）以電力數(shù)據(jù)創(chuàng)建DataFrame，按字段查詢數(shù)據(jù) 143

（二）使用電力按日使用數(shù)據(jù)創(chuàng)建DataSet，分組統(tǒng)計(jì)省份用電量 146

（三）使用Spark-sql 對(duì)電力數(shù)據(jù)按日期計(jì)算用電量，并按日期倒序 149

（四）使用Spark-sql 對(duì)電力數(shù)據(jù)計(jì)算單日地市用電量最小值 152

（五）使用Spark-sql 對(duì)電力數(shù)據(jù)計(jì)算月份電力使用量，并求出最大使用量 155

（六）使用Spark-sql 對(duì)電力數(shù)據(jù)按地市和日期求和，并保存結(jié)果到HIVE 中 158

（七）使用Spark-sql 對(duì)電力數(shù)據(jù)計(jì)算按省份月電力使用，并保存到MySQL 161

四、知識(shí)拓展——Spark SQL 是大數(shù)據(jù)離線批量處理的有力工具 165

五、任務(wù)考評(píng) 165

六、任務(wù)實(shí)訓(xùn) 167

任務(wù)六 Spark Streaming——實(shí)時(shí)智能分析

一、任務(wù)說(shuō)明 169

（一）學(xué)習(xí)目標(biāo) 169

（二）思維導(dǎo)圖 170

二、知識(shí)引入 170

（一）Spark Streaming 基礎(chǔ) 170

（二）DStream 基礎(chǔ) 172

三、任務(wù)實(shí)現(xiàn) 180

（一）使用DStream 處理電力使用數(shù)據(jù) 180

（二）Spark Streaming 對(duì)每5 分鐘窗口內(nèi)的實(shí)時(shí)用電量求和 184

（三）Spark Streaming 接收實(shí)時(shí)電力數(shù)據(jù)流，并將處理后的數(shù)據(jù)保存到HIVE 187

四、知識(shí)拓展——國(guó)內(nèi)大廠在實(shí)時(shí)處理領(lǐng)域大量使用Spark Streaming 實(shí)現(xiàn) 192

五、任務(wù)考評(píng) 192

六、任務(wù)實(shí)訓(xùn) 193

任務(wù)七 數(shù)據(jù)可視化——讓數(shù)據(jù)說(shuō)話

一、任務(wù)說(shuō)明 195

（一）學(xué)習(xí)目標(biāo) 195

（二）思維導(dǎo)圖 196

二、知識(shí)引入 196

（一）數(shù)據(jù)可視化基礎(chǔ) 196

（二）數(shù)據(jù)可視化的圖表類型 197

（三）圖表設(shè)計(jì)原則 198

（四）數(shù)據(jù)可視化的常見(jiàn)工具 200

三、任務(wù)實(shí)現(xiàn) 201

（一）可視化環(huán)境搭建 201

（二）各省月度用電量的趨勢(shì)對(duì)比 205

四、知識(shí)拓展——數(shù)據(jù)可視化是國(guó)家和企業(yè)數(shù)據(jù)驅(qū)動(dòng)決策的重要手段 212

五、任務(wù)考評(píng) 213

六、任務(wù)實(shí)訓(xùn) 214

任務(wù)八 基于Spark GraphX 與MLlib 的智能化場(chǎng)景應(yīng)用

一、任務(wù)說(shuō)明 217

（一）學(xué)習(xí)目標(biāo) 217

（二）思維導(dǎo)圖 218

二、知識(shí)引入 218

（一）初識(shí)Spark GraphX 218

（二）初識(shí)Spark MLlib 221

三、任務(wù)實(shí)現(xiàn) 223

（一）Spark GraphX 基于人物數(shù)據(jù)構(gòu)建人物關(guān)系 223

（二）Spark MLlib 之隨機(jī)森林及其案例 235

四、知識(shí)拓展——圖計(jì)算和機(jī)器學(xué)習(xí)是大數(shù)據(jù)處理的高級(jí)應(yīng)用方向 239

五、任務(wù)考評(píng) 241

六、任務(wù)實(shí)訓(xùn) 242

任務(wù)九 綜合實(shí)踐——區(qū)域用電分析項(xiàng)目

（一）需求分析 245

（二）模擬數(shù)據(jù)的生成 245

（三）模型設(shè)計(jì) 251

（四）數(shù)據(jù)抽取 252

（五）數(shù)據(jù)計(jì)算 253

（六）數(shù)據(jù)可視化實(shí)現(xiàn) 256

參考文獻(xiàn)