深圳大數(shù)據(jù)云計算系統(tǒng)架構(gòu)師高級課程

【課程內(nèi)容】

階段一、大數(shù)據(jù)、云計算-Hadoop大數(shù)據(jù)開發(fā)技術(shù)

課程一、大數(shù)據(jù)運維之Linux基礎(chǔ)

本部分是基礎(chǔ)課程，幫大家進入大數(shù)據(jù)領(lǐng)域打好Linux基礎(chǔ)，以便更好地學(xué)習(xí)Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等眾多課程。因為企業(yè)中的項目基本上都是使用Linux環(huán)境下搭建或部署的。

1）Linux系統(tǒng)概述

2）系統(tǒng)安裝及相關(guān)配置

3）Linux網(wǎng)絡(luò)基礎(chǔ)

4）OpenSSH實現(xiàn)網(wǎng)絡(luò)安全連接

5）vi文本編輯器

6）用戶和用戶組管理

7）磁盤管理

8）Linux文件和目錄管理

9）Linux終端常用命令

10）linux系統(tǒng)監(jiān)測與維護

課程二、大數(shù)據(jù)開發(fā)核心技術(shù)-Hadoop2.x從入門到精通本課程是整套大數(shù)據(jù)課程的基石：其一，分布式文件系統(tǒng)HDFS用于存儲海量數(shù)據(jù)，無論是Hive、HBase或者Spark數(shù)據(jù)存儲在其上面；其二是分布式資源管理框架YARN，是Hadoop云操作系統(tǒng)（也稱數(shù)據(jù)系統(tǒng)），管理集群資源和分布式數(shù)據(jù)處理框架MapReduce、Spark應(yīng)用的資源調(diào)度與監(jiān)控；分布式并行計算框架MapReduce目前是海量數(shù)據(jù)并行處理的一個常用的框架。Hadoop2.x的編譯、環(huán)境搭建、HDFSShell使用，YARN集群資源管理與任務(wù)監(jiān)控，MapReduce編程，分布式集群的部署管理（包括高可用性HA）必須要掌握的。

一、初識Hadoop2.x

1）大數(shù)據(jù)應(yīng)用發(fā)展、前景

2）Hadoop2.x概述及生態(tài)系統(tǒng)

3）Hadoop2.x環(huán)境搭建與測試

二、深入Hadoop2.x

1）HDFS文件系統(tǒng)的架構(gòu)、功能、設(shè)計

2）HDFSJavaAPI使用

3）YARN架構(gòu)、集群管理、應(yīng)用監(jiān)控

4）MapReduce編程模型、Shuffle過程、編程調(diào)優(yōu)

三、Hadoop2.x

1）分布式部署Hadoop2.x

2）分布式協(xié)作服務(wù)框架Zookeeper

3）HDFSHA架構(gòu)、配置、測試

4）HDFS2.x中特性

5）YARNHA架構(gòu)、配置

6）Hadoop主要發(fā)行版本（CDH、HDP、Apache）

四、實戰(zhàn)應(yīng)用

1）以“遠標教育用戶瀏覽日志”數(shù)據(jù)進行實際的分析2）原數(shù)據(jù)采集3）數(shù)據(jù)的預(yù)處理（ETL）4）數(shù)據(jù)的分析處理（MapReduce）

課程三、大數(shù)據(jù)開發(fā)核心技術(shù)-大數(shù)據(jù)倉庫Hive精講hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。其優(yōu)點是學(xué)習(xí)成本低，可以通類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

一、Hive初識入門

1）Hive功能、體系結(jié)構(gòu)、使用場景

2）Hive環(huán)境搭建、初級使用

3）Hive原數(shù)據(jù)配置、常見交互方式

二、Hive深入使用

1）Hive中的內(nèi)部表、外部表、分區(qū)表

2）Hive數(shù)據(jù)遷移

3）Hive常見查詢（select、where、distinct、join、groupby）

4）Hive內(nèi)置函數(shù)和UDF編程

三、Hive進階

1）Hive數(shù)據(jù)的存儲和壓縮

2）Hive常見優(yōu)化（數(shù)據(jù)傾斜、壓縮等）

四、結(jié)合“遠標教育用戶瀏覽日志”實際案例分析

1）依據(jù)業(yè)務(wù)設(shè)計表

2）數(shù)據(jù)清洗、導(dǎo)入（ETL）

3）使用HiveQL，統(tǒng)計常見的網(wǎng)站指標

課程四、大數(shù)據(jù)協(xié)作框架-Sqoop/Flume/Oozieo精講Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫（例如：MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。Sqoop項目開始于2009年，早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨立成為一個Apache項目。

一、數(shù)據(jù)轉(zhuǎn)換工具Sqoop

1）Sqoop功能、使用原則

2）將RDBMS數(shù)據(jù)導(dǎo)入Hive表中（全量、增量）

3）將HDFS上文件導(dǎo)出到RDBMS表中

二、文件收集框架Flume

1）Flume設(shè)計架構(gòu)、原理（三大組件）

2）Flume初步使用，實時采集數(shù)據(jù)

3）如何使用Flume監(jiān)控文件夾數(shù)據(jù)，實時采集錄入HDFS中4）任務(wù)調(diào)度框架Oozie

三、Oozie功能、安裝部署

1）使用Oozie調(diào)度MapReduceJob和HiveQL

2）定時調(diào)度任務(wù)使用

課程五、大數(shù)據(jù)Web開發(fā)框架-大數(shù)據(jù)WEB工具Hue精講Hue是一個開源的ApacheHadoopUI系統(tǒng)，早是由ClouderaDesktop演化而來，由Cloudera貢獻給開源社區(qū)，它是基于PythonWeb框架Django實現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運行MapReduceJob等等。

1）Hue架構(gòu)、功能、編譯

2）Hue集成HDFS

3）Hue集成MapReduce

4）Hue集成Hive、DataBase

5）Hue集成Oozie

課程六、大數(shù)據(jù)核心開發(fā)技術(shù)-分布式數(shù)據(jù)庫HBase從入門到精通HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。HBase在Hadoop之上提供了類似于Bigtable的能力，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群

一、HBase初窺使用

1）HBase是什么、發(fā)展、與RDBMS相比優(yōu)勢、企業(yè)使用

2）HBaseSchema、表的設(shè)計

3）HBase環(huán)境搭建、shell初步使用（CRUD等）

二、HBase深入使用

1）HBase數(shù)據(jù)存儲模型

2）HBaseJavaAPI使用（CRUD、SCAN等）

3）HBase架構(gòu)深入剖析

4）HBase與MapReduce集成、數(shù)據(jù)導(dǎo)入導(dǎo)出

三、HBase使用

1）如何設(shè)計表、表的預(yù)分區(qū)（依據(jù)具體業(yè)務(wù)分析講解）

2）HBase表的常見屬性設(shè)置（結(jié)合企業(yè)實際）

3）HBaseAdmin操作（JavaAPI、常見命令）

四、“遠標教育用戶瀏覽日志”進行分析

1）依據(jù)需求設(shè)計表、創(chuàng)建表、預(yù)分區(qū)

2）進行業(yè)務(wù)查詢分析

3）對于密集型讀和密集型寫進行HBase參數(shù)調(diào)優(yōu)

課程七、大數(shù)據(jù)核心開發(fā)技術(shù)-Storm實時數(shù)據(jù)處理

Storm是Twitter開源的分布式實時大數(shù)據(jù)處理框架，被業(yè)界稱為實時版Hadoop。隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網(wǎng)站統(tǒng)計、推薦系統(tǒng)、預(yù)警系統(tǒng)、金融系統(tǒng)(高頻交易、股票)等等，大數(shù)據(jù)實時處理解決方案（流計算）的應(yīng)用日趨廣泛，目前已是分布式技術(shù)領(lǐng)域新爆發(fā)點，而Storm更是流計算技術(shù)中的佼佼者和主流。按照storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Hadoop提供了map、reduce原語，使我們的批處理程序變得簡單和高效。同樣，Storm也為實時計算提供了一些簡單高效的原語，而且Storm的Trident是基于Storm原語更的抽象框架，類似于基于Hadoop的Pig框架，讓開發(fā)更加便利和高效。本課程會深入、全面的講解Storm，并穿插企業(yè)場景實戰(zhàn)講述Storm的運用。淘寶雙11的大屏幕實時監(jiān)控效果沖擊了整個IT界，業(yè)界為之驚嘆的同時更是引起對該技術(shù)的探索。學(xué)完本課程你可以自己開發(fā)升級版的“淘寶雙11”，還等什么？

1）Storm簡介和課程介紹

2）Storm原理和概念詳解

3）Zookeeper集群搭建及基本使用

4）Storm集群搭建及測試

5）API簡介和入門案例開發(fā)

6）Spout的Tail特性、storm-starter及maven使用、Grouping策略

7）實例講解Grouping策略及并發(fā)

8）并發(fā)度詳解、案例開發(fā)（高并發(fā)運用）

9）案例開發(fā)——計算網(wǎng)站PV，通過2種方式實現(xiàn)匯總型計算。

10）案例優(yōu)化引入Zookeeper鎖控制線程操作

11）計算網(wǎng)站UV(去重計算模式)

12）“運維”集群統(tǒng)一啟動和停止shell腳本開發(fā)

13）Storm事務(wù)工作原理深入講解14）Storm事務(wù)API及案例分析

15）Storm事務(wù)案例實戰(zhàn)之ITransactionalSpout

16）Storm事務(wù)案例升級之按天計算

17）Storm分區(qū)事務(wù)案例實戰(zhàn)

18）Storm不透明分區(qū)事務(wù)案例實戰(zhàn)

19）DRPC精解和案例分析

20）StormTrident入門

21）TridentAPI和概念

22）StormTrident實戰(zhàn)之計算網(wǎng)站PV

23）ITridentSpout、FirstN(取TopN)實現(xiàn)、流合并和Join

24）StormTrident之函數(shù)、流聚合及核心概念State

25）StormTrident綜合實戰(zhàn)一（基于HBase的State）

26）StormTrident綜合實戰(zhàn)二

27）StormTrident綜合實戰(zhàn)三

28）Storm集群和作業(yè)監(jiān)控告警開發(fā)

課程八、Spark技術(shù)實戰(zhàn)之基礎(chǔ)篇-Scala語言從入門到精通

為什么要學(xué)習(xí)Scala？源于Spark的流行，Spark是當前流行的開源大數(shù)據(jù)內(nèi)存計算框架，采用Scala語言實現(xiàn)，各大公司都在使用Spark：IBM宣布**大力推進ApacheSpark項目，并稱該項目為：在以數(shù)據(jù)為主導(dǎo)的，未來十年為重要的新的開源項目。這一**的核心是將Spark嵌入IBM業(yè)內(nèi)的分析和商務(wù)平臺，Scala具有數(shù)據(jù)處理的天然優(yōu)勢，Scala是未來大數(shù)據(jù)處理的主流語言

1)kafka是什么

2)kafka體系結(jié)構(gòu)

3)kafka配置詳解

4)kafka的安裝

5)kafka的存儲策略

6)kafka分區(qū)特點

7)kafka的發(fā)布與訂閱

8)java編程操作kafka

9)scala編程操作kafka

10)flume和kafka的整合

11)Kafka和storm的整合

課程九、大數(shù)據(jù)核心開發(fā)技術(shù)-內(nèi)存計算框架Spark精講

Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用并行框架，Spark，擁有HadoopMapReduce所具有的優(yōu)點。啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。SparkStreaming:構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時間片斷

（幾秒），以類似batch批量處理的方式來處理這小部分數(shù)據(jù)

1）Spark初識入門

2）Spark概述、生態(tài)系統(tǒng)、與MapReduce比較

3）Spark編譯、安裝部署（StandaloneMode）及測試

4）Spark應(yīng)用提交工具（spark-submit，spark-shell）

5）Scala基本知識講解（變量，類，高階函數(shù)）

6）Spark核心RDD

7）RDD特性、常見操作、緩存策略

8）RDDDependency、Stage常、源碼分析

9）Spark核心組件概述

10）案例分析

11）Spark高階應(yīng)用

12）SparkonYARN運行原理、運行模式及測試

13）SparkHistoryServer歷史應(yīng)用監(jiān)控

14）SparkStreaming流式計算

15）SparkStreaming原理、DStream設(shè)計

16）SparkStreaming常見input、out

17）SparkStreaming與Kafka集成

18）使用Spark對“遠標教育用戶瀏覽日志”進行分析

課程十、大數(shù)據(jù)核心開發(fā)技術(shù)-Spark深入剖析

本課程主要講解目前大數(shù)據(jù)領(lǐng)域熱門、火爆、有前景的技術(shù)——Spark。在本課程中，會從淺入深，基于大量案例實戰(zhàn)，深度剖析和講解Spark，并且會包含

完全從企業(yè)真實復(fù)雜業(yè)務(wù)需求中抽取出的案例實戰(zhàn)。課程會涵蓋Scala編程詳解、Spark核心編程、SparkSQL和SparkStreaming、Spark內(nèi)核以及源碼剖析、

性能調(diào)優(yōu)、企業(yè)級案例實戰(zhàn)等部分

1）Scala編程、Hadoop與Spark集群搭建、Spark核心編程、Spark內(nèi)核源碼深度剖析、Spark性能調(diào)優(yōu)、SparkSQL、SparkStreaming

2）Spark源碼剖析

3）基于排序的wordcount，Spark二次排序，Spark分組取topn，DataFrame與RDD的兩種轉(zhuǎn)換方式，SparkSQL的內(nèi)置函數(shù)、開窗函數(shù)、UDF、UDAF，SparkStreaming的KafkaDirectAPI、updateStateByKey、transform、滑動窗口、foreachRDD性能優(yōu)化、與SparkSQL整合使用、持久化、checkpoint、容錯與事務(wù)

4）項目實戰(zhàn)：多個從企業(yè)實際需求抽取出的復(fù)雜案例實戰(zhàn)：每日uv和銷售額統(tǒng)計案例、top3熱賣商品統(tǒng)計案例、每日top3熱點搜索詞統(tǒng)計、廣

告計費日志實時黑名單過濾案例、熱點搜索詞滑動統(tǒng)計案例、top3熱門商品實時統(tǒng)計案例

課程十一、企業(yè)大數(shù)據(jù)平臺應(yīng)用

本階段主要就之前所學(xué)內(nèi)容完成大數(shù)據(jù)相關(guān)企業(yè)場景與解決方案的剖析應(yīng)用及結(jié)合一個電子商務(wù)平臺進行實戰(zhàn)分析，主要包括有：企業(yè)大數(shù)據(jù)平臺概述、搭建企業(yè)

大數(shù)據(jù)平臺、真實服務(wù)器手把手環(huán)境部署、使用CM5.3.x管理CDH5.3.x集群

1）企業(yè)大數(shù)據(jù)平臺概述

2）大數(shù)據(jù)平臺基本組件

3）Hadoop發(fā)行版本、比較、選擇

4）集群環(huán)境的準備（系統(tǒng)、基本配置、規(guī)劃等）

5）搭建企業(yè)大數(shù)據(jù)平臺

6）以實際企業(yè)項目需求為依據(jù)，搭建平臺

7）需求分析（主要業(yè)務(wù)）

8）框架選擇（Hive\HBase\Spark等）

9）真實服務(wù)器手把手環(huán)境部署

10）安裝ClouderaManager5.3.x

11）使用CM5.3.x安裝CDH5.3.x

12）如何使用CM5.3.x管理CDH5.3.x集群

13）基本配置，優(yōu)化

14）基本性能測試

15）各個組件如何使用

課程十二、項目實戰(zhàn)：驢媽媽旅游網(wǎng)大型離線數(shù)據(jù)電商分析平臺

離線數(shù)據(jù)分析平臺是一種利用hadoop集群開發(fā)工具的一種方式，主要作用是幫助公司對網(wǎng)站的應(yīng)用有一個比較好的了解。尤其是在電商、旅游、銀行、證券、游戲

等領(lǐng)域有非常廣泛，因為這些領(lǐng)域?qū)?shù)據(jù)和用戶的特性把握要求比較高，所以對于離線數(shù)據(jù)的分析就有比較高的要求了。本課程講師本人之前在游戲、旅游等公司

專門從事離線數(shù)據(jù)分析平臺的搭建和開發(fā)等，通過此項目將所有大數(shù)據(jù)內(nèi)容貫穿，并前后展示！

1）Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、離線數(shù)據(jù)分析，SpringMVC，Highchat

2）Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts實現(xiàn)的電商離線數(shù)據(jù)分析

3）日志收集系統(tǒng)、日志分析、數(shù)據(jù)展示設(shè)計

課程十三、項目實戰(zhàn)：基于1號店的電商實時數(shù)據(jù)分析系統(tǒng)

課程基于1號店的業(yè)務(wù)及數(shù)據(jù)進行設(shè)計和講解的，主要涉及

1、課程中完整開發(fā)3個Storm項目，均為企業(yè)實際項目，其中一個是完全由StormTrident開發(fā)。項目源碼均可以直接運行，也可直接用于商用或企業(yè)。

2、每個技術(shù)均采用新穩(wěn)定版本，學(xué)完后會員可以從Kafka到Storm項目開發(fā)及HighCharts圖表開發(fā)一個人搞定！讓學(xué)員身價劇增！

3、搭建CDH5生態(tài)環(huán)境完整平臺，且采用ClouderaManager界面化管理CDH5平臺。讓Hadoop平臺環(huán)境搭建和維護都變得輕而易舉。

4、分享實際項目的架構(gòu)設(shè)計、優(yōu)劣分析和取舍、經(jīng)驗技巧，陡直提升學(xué)員的經(jīng)驗值

1）全面掌握Storm完整項目開發(fā)思路和架構(gòu)設(shè)計

2）掌握StormTrident項目開發(fā)模式

3）掌握Kafka運維和API開發(fā)、與Storm接口開發(fā)

4）掌握HighCharts各類圖表開發(fā)和實時無刷新加載數(shù)據(jù)

5）熟練搭建CDH5生態(tài)環(huán)境完整平臺

6）靈活運用HBase作為外部存儲

7）可以做到以一己之力完成從后臺開發(fā)（Storm、Kafka、Hbase開發(fā)）

到前臺HighCharts圖表開發(fā)、Jquery運用等，所有工作一個人搞定！

可以一個人搞定淘寶雙11大屏幕項目！

課程十四、項目實戰(zhàn)：基于某團購網(wǎng)的大型離線電商數(shù)據(jù)分析平臺

本項目使用了Spark技術(shù)生態(tài)棧中常用的三個技術(shù)框架，SparkCore、SparkSQL和SparkStreaming，進行離線計算和實時計算業(yè)務(wù)模塊的開發(fā)。實現(xiàn)了包括用

戶訪問session分析、頁面單跳轉(zhuǎn)化率統(tǒng)計、熱門商品離線統(tǒng)計、廣告點擊流量實時統(tǒng)計4個業(yè)務(wù)模塊。過合理的將實際業(yè)務(wù)模塊進行技術(shù)整合與改造，該項目完全

涵蓋了SparkCore、SparkSQL和SparkStreaming這三個技術(shù)框架中幾乎所有的功能點、知識點以及性能優(yōu)化點。僅一個項目，即可全面掌握Spark技術(shù)在實際項

目中如何實現(xiàn)各種類型的業(yè)務(wù)需求！在項目中，重點講解了實際企業(yè)項目中積累下來的寶貴的性能調(diào)優(yōu)、troubleshooting以及數(shù)據(jù)傾斜解決方案等知識和技術(shù)

1）真實還原完整的企業(yè)級大數(shù)據(jù)項目開發(fā)流程：項目中采用完全還原企業(yè)大數(shù)據(jù)項目開發(fā)場景的方式來講解，每一個業(yè)務(wù)模塊的講解都包括了數(shù)據(jù)分

析、需求分析、方案設(shè)計、數(shù)據(jù)庫設(shè)計、編碼實現(xiàn)、功能測試、性能調(diào)優(yōu)、troubleshooting與解決數(shù)據(jù)傾斜（后期運維）等環(huán)節(jié)，真實還原

企業(yè)級大數(shù)據(jù)項目開發(fā)場景。讓學(xué)員掌握真實大數(shù)據(jù)項目的開發(fā)流程和經(jīng)驗！

2）現(xiàn)場Excel手工畫圖與寫筆記：所有復(fù)雜業(yè)務(wù)流程、架構(gòu)原理、Spark技術(shù)原理、業(yè)務(wù)需求分析、技術(shù)實現(xiàn)方案等知識的講解，采用Excel畫

圖或者寫詳細比較的方式進行講解與分析，細致入微、形象地透徹剖析理論知識，幫助學(xué)員更好的理解、記憶與復(fù)習(xí)鞏固。

課程十五、大數(shù)據(jù)高薪面試剖析

本階段通過對歷來大數(shù)據(jù)公司企業(yè)真實面試題的剖析，講解，讓學(xué)員真正的一個菜鳥轉(zhuǎn)型為具有1年以上的大數(shù)據(jù)開發(fā)工作經(jīng)驗的專業(yè)人士，也是講師多年來大數(shù)據(jù)

企業(yè)開發(fā)的經(jīng)驗之談。

1）大數(shù)據(jù)項目

2）企業(yè)大數(shù)據(jù)項目的類型

3）技術(shù)架構(gòu)（如何使用各框架處理數(shù)據(jù)）

4）沖刺高薪面試

5）面試簡歷編寫（把握重點要點）

6）面試中的技巧

7）常見面試題講解

8）如何快速融入企業(yè)進行工作（對于大數(shù)據(jù)公司來說非常關(guān)鍵）

9）學(xué)員答疑

10）針對普遍問題進行公共解答

11）一對一的交流

階段二、大數(shù)據(jù)、云計算-Java企業(yè)級核心應(yīng)用

課程十六、深入Java性能調(diào)優(yōu)

國內(nèi)關(guān)于Java性能調(diào)優(yōu)的課程非常少，如此全面深入介紹Java性能調(diào)優(yōu)，遠標教育算是，Special講師，十余年Java方面開發(fā)工作經(jīng)驗，軟件開發(fā)系統(tǒng)架構(gòu)師，

本套課程系多年工作經(jīng)驗與心得的總結(jié)，課程有著很高的含金量和實用價值，本課程專注于java應(yīng)用程序的優(yōu)化方法，技巧和思想，深入剖析軟件設(shè)計層面、代碼層面、JVM虛擬機層面的優(yōu)化方法，理論結(jié)合實際，使用豐富的示例幫助學(xué)員理解理論知識。

課程十七、JAVA企業(yè)級開放必備技術(shù)（WeblogicTomcat集群Apach集群）

Java自面世后就非常流行，發(fā)展迅速，對C++語言形成有力沖擊。在全球云計算和移動互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下，Java更具備了顯著優(yōu)勢和廣闊前景，那么滋生的基于

java項目也越來越多，對java運行環(huán)境的要求也越來越高，很多java的程序員只知道對業(yè)務(wù)的擴展而不知道對java本身的運行環(huán)境的調(diào)試，例如虛擬機調(diào)優(yōu)，服務(wù)器集群等，所以也滋生本門課程的產(chǎn)生。

階段三、大數(shù)據(jù)、云計算-分布式集群、PB級別網(wǎng)站性能優(yōu)化

課程十八、大數(shù)據(jù)高并發(fā)系統(tǒng)架構(gòu)實戰(zhàn)方案(LVS負載均衡、Nginx、共享存儲、海量數(shù)據(jù)、隊列緩存)

隨著互聯(lián)網(wǎng)的發(fā)展，高并發(fā)、大數(shù)據(jù)量的網(wǎng)站要求越來越高。而這些高要求都是基礎(chǔ)的技術(shù)和細節(jié)組合而成的。本課程就從實際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構(gòu)

常用技術(shù)點及詳細演練。通過該課程的學(xué)習(xí)，普通的技術(shù)人員就可以快速搭建起千萬級的高并發(fā)大數(shù)據(jù)網(wǎng)站平臺,課程涉及內(nèi)容包括:LVS實現(xiàn)負載均衡、Nginx配置實戰(zhàn)、共享存儲實現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速實戰(zhàn)、緩存平臺安裝配置使用、mysql主從復(fù)制安裝配置實戰(zhàn)等。

課程十九、大數(shù)據(jù)高并發(fā)服務(wù)器實戰(zhàn)教程

隨著Web技術(shù)的普及，Internet上的各類網(wǎng)站第天都在雪崩式增長。但這些網(wǎng)站大多在性能上沒做過多考慮。當然,它們情況不同。有的是Web技術(shù)本身的原因（主

要是程序代碼問題）,還有就是由于Web服務(wù)器未進行優(yōu)化。不管是哪種情況，一但用戶量在短時間內(nèi)激增，網(wǎng)站就會明顯變慢，甚至拒絕放訪問。要想有效地解決這些問題，就只有依靠不同的優(yōu)化技術(shù)。本課程就是主要用于來解決大型網(wǎng)站性能問題，能夠承受大數(shù)據(jù)、高并發(fā)。主要涉及技術(shù)有：nginx、tomcat、memcached、redis緩存、負載均衡等開發(fā)技術(shù)

項目實戰(zhàn)：PB級通用電商網(wǎng)站性能優(yōu)化解決方案

本部分通過一個通用電商訂單支付模塊，外加淘寶支付接口的實現(xiàn)（可用于實際項目開發(fā)），剖析并分析過程中可能遇到的各種性能瓶頸及相關(guān)的解決方案與優(yōu)化技

巧。終目標，讓有具有PHP基礎(chǔ)或Java基礎(chǔ)的學(xué)員迅速掌握Linux下的開發(fā)知識，并對涉及到nginx、tomcat、memcached、redis緩存、負載均衡等開發(fā)技術(shù)有一個全面的了解

階段四、大數(shù)據(jù)、云計算-數(shù)據(jù)挖掘、分析&機器學(xué)習(xí)

課程二十、玩轉(zhuǎn)大數(shù)據(jù)：深入淺出大數(shù)據(jù)挖掘技術(shù)(Apriori算法、Tanagra工具、決策樹)

本課程名為深入淺出數(shù)據(jù)挖掘技術(shù)。所謂“深入”，指得是從數(shù)據(jù)挖掘的原理與經(jīng)典算法入手。其一是要了解算法，知道什么場景應(yīng)當應(yīng)用什么樣的方法；其二是學(xué)

習(xí)算法的經(jīng)典思想，可以將它應(yīng)用到其他的實際項目之中；其三是理解算法，讓數(shù)據(jù)挖掘的算法能夠應(yīng)用到您的項目開發(fā)之中去。所謂“淺出”，指得是將數(shù)據(jù)挖掘

算法的應(yīng)用落實到實際的應(yīng)用中。課程會通過三個不同的方面來講解算法的應(yīng)用：一是微軟公司的SQLServer與Excel等工具實現(xiàn)的數(shù)據(jù)挖掘；二是開源算法

的數(shù)據(jù)挖掘，如Weka、KNIMA、Tanagra等開源工具；三是利用C#語言做演示來完成數(shù)據(jù)挖掘算法的實現(xiàn)。

根據(jù)實際的引用場景，數(shù)據(jù)挖掘技術(shù)通常分為分類器、關(guān)聯(lián)分析、聚類算法等三大類別。本課程主要介紹這三大算法的經(jīng)典思想以及部分的實現(xiàn)形式，并結(jié)合一

些商業(yè)分析工具、開源工具或編程等方式來講解具體的應(yīng)用方法

課程二十一、Lucene4.X實戰(zhàn)類baidu搜索的大型文檔海量搜索系統(tǒng)

本課程由淺入深的介紹了Lucene4的發(fā)展歷史，開發(fā)環(huán)境搭建，分析lucene4的中文分詞原理，深入講了lucenne4的系統(tǒng)架構(gòu)，分析lucene4索引實現(xiàn)原理及性能優(yōu)

化，了解關(guān)于lucene4的搜索算法優(yōu)化及利用java結(jié)合lucene4實現(xiàn)類百度文庫的全文檢索功能等相對高端實用的內(nèi)容，市面上一般很難找到同類具有相同深度與廣度的視頻，集原理、基礎(chǔ)、案例與實戰(zhàn)與一身，不可多得的一部高端視頻教程。

課程二十二、快速上手數(shù)據(jù)挖掘之solr搜索引擎教程（Solr集群、KI分詞、項目實戰(zhàn)）

本教程從基礎(chǔ)的solr語法開始講解，選擇了新流行的開源搜索引擎服務(wù)框架solr5.3.1，利用Tomcat8搭建了solr的集群服務(wù)；本教程可以幫助學(xué)員快速上手

solr的開發(fā)和二次開發(fā)，包括在hadoop集群的是利用，海量數(shù)據(jù)的索引和實時檢索，通過了解、學(xué)習(xí)、安裝、配置、集成等步驟引導(dǎo)學(xué)員如何將solr集成到項目中。

課程二十三、項目實戰(zhàn)：SPSSModeler數(shù)據(jù)挖掘項目實戰(zhàn)培訓(xùn)

SSModeler是業(yè)界極為的數(shù)據(jù)挖掘軟件，其前身為SPSSClementine。SPSSModeler內(nèi)置豐富的數(shù)據(jù)挖掘模型，以其強大的挖掘功能和友好的操作習(xí)慣，深

受用戶的喜愛和好評，成為眾多知名企業(yè)在數(shù)據(jù)挖掘項目上的軟件產(chǎn)品選擇。本課程以SPSSModeler為應(yīng)用軟件，以數(shù)據(jù)挖掘項目生命周期為線索，以實際數(shù)據(jù)挖掘項目為例，講解了從項目商業(yè)理解開始，到后軟件實現(xiàn)的全過程。

課程二十四、數(shù)據(jù)層交換和高性能并發(fā)處理(開源ETL大數(shù)據(jù)治理工具）

ETL是數(shù)據(jù)的抽取清洗轉(zhuǎn)換加載的過程，是數(shù)據(jù)進入數(shù)據(jù)倉庫進行大數(shù)據(jù)分析的載入過程，目前流行的數(shù)據(jù)進入倉庫的過程有兩種形式，一種是進入數(shù)據(jù)庫后再進行

清洗和轉(zhuǎn)換，另外一條路線是首先進行清洗轉(zhuǎn)換再進入數(shù)據(jù)庫，我們的ETL屬于后者。大數(shù)據(jù)的利器大家可能普遍說是hadoop，但是大家要知道如果我們不做預(yù)先

的清洗和轉(zhuǎn)換處理，我們進入hadoop后僅通過mapreduce進行數(shù)據(jù)清洗轉(zhuǎn)換再進行分析，垃圾數(shù)據(jù)會導(dǎo)致我們的磁盤占用量會相當大，這樣無形中提升了我們的

硬件成本（硬盤大，內(nèi)存小處理速度會很慢，內(nèi)存大cpu性能低速度也會受影響），因此雖然hadoop理論上解決了爛機器拼起來解決大問題的問題，但是事實上如

果我們有更好的節(jié)點速度必然是會普遍提升的，因此ETL在大數(shù)據(jù)環(huán)境下仍然是必不可少的數(shù)據(jù)交換工具。

課程二十五、零基礎(chǔ)數(shù)據(jù)分析與挖掘R語言實戰(zhàn)

本課程面向從未接觸過數(shù)據(jù)分析的學(xué)員，從基礎(chǔ)的R語法開始講起，逐步進入到目前各行業(yè)流行的各種分析模型。整個課程分為基礎(chǔ)和實戰(zhàn)兩個單元?；A(chǔ)部分包

括R語法和統(tǒng)計思維兩個主題，R語法單元會介紹R語言中的各種特色數(shù)據(jù)結(jié)構(gòu)，以及如何從外部抓去數(shù)據(jù)，如何使用包和函數(shù)，幫助同學(xué)快速通過語法關(guān)。統(tǒng)計思維

單元會指導(dǎo)如何用統(tǒng)計學(xué)的思想快速的發(fā)現(xiàn)數(shù)據(jù)特點或者模式，并利用R強大的繪圖能力做可視化展現(xiàn)。在實戰(zhàn)部分選擇了回歸、聚類、數(shù)據(jù)降維、關(guān)聯(lián)規(guī)則、決策

樹這5中基礎(chǔ)的數(shù)據(jù)分析模型，詳細介紹其思想原理，并通過案例講解R中的實現(xiàn)方案，尤其是詳細的介紹了對各種參數(shù)和輸出結(jié)果的解讀，讓學(xué)員真正達到融會

貫通、舉一反三的效果。并應(yīng)用到自己的工作環(huán)境中

課程二十六、深入淺出HadoopMahout數(shù)據(jù)挖掘?qū)崙?zhàn)(算法分析、項目實戰(zhàn)、中文分詞技術(shù))

Mahout是ApacheSoftwareFoundation（ASF）旗下的一個開源項目，提供一些可擴展的機器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。課程包括：Mahout數(shù)據(jù)挖掘工具及Hadoop實現(xiàn)推薦系統(tǒng)的綜合實戰(zhàn)，涉及到MapReduce、Pig和Mahout的綜合實戰(zhàn)

課程二十七、大數(shù)據(jù)項目實戰(zhàn)之Python金融應(yīng)用編程(數(shù)據(jù)分析、定價與量化投資)

近年來，金融領(lǐng)域的量化分析越來越受到理論界與實務(wù)界的重視，量化分析的技術(shù)也取得了較大的進展，成為備受關(guān)注的一個熱點領(lǐng)域。所謂金融量化，就是將金融

分析理論與計算機編程技術(shù)相結(jié)合，更為有效的利用現(xiàn)代計算技術(shù)實現(xiàn)準確的金融資產(chǎn)定價以及交易機會的發(fā)現(xiàn)。量化分析目前已經(jīng)涉及到金融領(lǐng)域的方方面面，包

括基礎(chǔ)和衍生金融資產(chǎn)定價、風(fēng)險管理、量化投資等。隨著大數(shù)據(jù)技術(shù)的發(fā)展，量化分析還逐步與大數(shù)據(jù)結(jié)合在一起，對海量金融數(shù)據(jù)實現(xiàn)有效和快速的運算與處

理。在量化金融的時代，選用一種合適的編程語言對于金融模型的實現(xiàn)是至關(guān)重要的。在這方面，Python語言體現(xiàn)出了不一般的優(yōu)勢，特別是它擁有大量的金融計

算庫，并且可以提供與C++，java等語言的接口以實現(xiàn)高效率的分析，成為金融領(lǐng)域快速開發(fā)和應(yīng)用的一種關(guān)鍵語言，由于它是開源的，降低了金融計算的成本，

而且還通過廣泛的社交網(wǎng)絡(luò)提供大量的應(yīng)用實例，極大的縮短了金融量化分析的學(xué)習(xí)路徑。本課程在量化分析與Python語言快速發(fā)展的背景下介紹二者之間的關(guān)聯(lián)，使學(xué)員能夠快速掌握如何利用Python語言進行金融數(shù)據(jù)量化分析的基本方法。

課程二十八、項目實戰(zhàn)：云計算處理大數(shù)據(jù)深度、智能挖掘技術(shù)+地震數(shù)據(jù)挖掘分析

本課程介紹了基于云計算的大數(shù)據(jù)處理技術(shù)，重點介紹了一款高效的、實時分析處理海量數(shù)據(jù)的強有力工具——數(shù)據(jù)立方。數(shù)據(jù)立方是針對大數(shù)據(jù)處理的分布式數(shù)

據(jù)庫，能夠可靠地對大數(shù)據(jù)進行實時處理，具有即時響應(yīng)多用戶并發(fā)請求的能力，通過對當前主流的大數(shù)據(jù)處理系統(tǒng)進行深入剖析，闡述了數(shù)據(jù)立方產(chǎn)生的背景，介

紹了數(shù)據(jù)立方的整體架構(gòu)以及安裝和詳細開發(fā)流程，并給出了4個完整的數(shù)據(jù)立方綜合應(yīng)用實例。所有實例都經(jīng)過驗證并附有詳細的步驟說明，無論是對于云計算的

初學(xué)者還是想進一步深入學(xué)習(xí)大數(shù)據(jù)處理技術(shù)的研發(fā)人員、研究人員都有很好的參考價值。

階段五、大數(shù)據(jù)、云計算-大數(shù)據(jù)運維&云計算技術(shù)篇

課程二十九、Zookeeper從入門到精通（開發(fā)詳解，案例實戰(zhàn)，Web界面監(jiān)控）

ZooKeeper是Hadoop的開源子項目（GoogleChubby的開源實現(xiàn)），它是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護、命名服務(wù)、分

布式同步、組服務(wù)等。Zookeeper的FastFail和Leader選舉特性大大增強了分布式集群的穩(wěn)定和健壯性，并且解決了Master/Slave模式的單點故障重大隱患，這

是越來越多的分布式產(chǎn)品如HBase、Storm（流計算）、S4（流計算）等強依賴Zookeeper的原因。Zookeeper在分布式集群（Hadoop生態(tài)圈）中的地位越來越

突出，對分布式應(yīng)用的開發(fā)也提供了極大便利，這是迫切需要深入學(xué)習(xí)Zookeeper的原因。本課程主要內(nèi)容包括Zookeeper深入、客戶端開發(fā)（Java編程，案例開

發(fā)）、日常運維、Web界面監(jiān)控，“一條龍”的實戰(zhàn)平臺分享給大家。

課程三十、云計算Docker從零基礎(chǔ)到專家實戰(zhàn)教程

Docker是一種開源的應(yīng)用容器引擎，使用Docker可以快速地實現(xiàn)虛擬化，并且實現(xiàn)虛擬化的性能相對于其他技術(shù)來說較高。并且隨著云計算的普及以及對虛擬化技

術(shù)的大量需求，使得云計算人才供不應(yīng)求，所以一些大型企業(yè)對Docker專業(yè)技術(shù)人才需求較大。本教程從基礎(chǔ)的Dokcer原理開始講起，深入淺出，并且全套課程

均結(jié)合實例實戰(zhàn)進行講解，讓學(xué)員可以不僅能了解原理，更能夠?qū)嶋H地去使用這門技術(shù)。

課程三十一、項目實戰(zhàn)：云計算Docker全面項目實戰(zhàn)（Maven+Jenkins、日志管理ELK、WordPress博客

2013年，云計算領(lǐng)域從此多了一個名詞“Docker”。以輕量著稱，更好的去解決應(yīng)用打包和部署。之前我們一直在構(gòu)建Iaas，但通過Iaas去實現(xiàn)統(tǒng)一功能還是相當

復(fù)雜得，并且維護復(fù)雜。將特殊性封裝到鏡像中實現(xiàn)幾乎一致得部署方法，它就是“Docker”，以容器為技術(shù)核心，實現(xiàn)了應(yīng)用的標準化。企業(yè)可以快速生成研

發(fā)、測試環(huán)境，并且可以做到快速部署。實現(xiàn)了從產(chǎn)品研發(fā)環(huán)境到部署環(huán)境的一致化。Docker讓研發(fā)更加專注于代碼的編寫，并且以“鏡像”作為交付。極大的縮

短了產(chǎn)品的交付周期和實施周期。

課程三十二、深入淺出OpenStack云計算平臺管理

OpenStack是一個由Rackspace發(fā)起、全球開發(fā)者共同參與的開源項目，旨在打造易于部署、功能豐富且易于擴展的云計算平臺。OpenStack企圖成為數(shù)據(jù)中心的

操作系統(tǒng)，即云操作系統(tǒng)。從項目發(fā)起之初，OpenStack就幾乎贏得了所有IT巨頭的關(guān)注，在各種OpenStack技術(shù)會議上人們激情澎湃，幾乎所有人都成為

OpenStack的信徒。這個課程重點放在openstack的部署和網(wǎng)絡(luò)部分。課程強調(diào)實際的動手操作，使用vmware模擬實際的物理平臺，讓大家可以自己動手去實際搭建

和學(xué)習(xí)openstack。課程內(nèi)容包括云計算的基本知識，虛擬網(wǎng)絡(luò)基礎(chǔ)，openstack部署和應(yīng)用，openstack網(wǎng)絡(luò)詳解等。

【教學(xué)優(yōu)勢】

1、中國移動互聯(lián)網(wǎng)研發(fā)培訓(xùn)開拓者

專注iOS、Android、HTML5、UI、PHP等技術(shù)研發(fā)培訓(xùn)，堅持“用良心做教育，做真實的自己”的理念

2、免費試聽優(yōu)惠政策

推出“兩周免費試聽，不滿意不繳費”的政策，讓學(xué)員了解更真實的遠標、了解自己是否適合做開發(fā)

3、業(yè)內(nèi)學(xué)員畢業(yè)薪水高

零學(xué)費入學(xué)，工作后分期還款，業(yè)內(nèi)學(xué)員畢業(yè)薪水高，培訓(xùn)就業(yè)協(xié)議明確標明薪資，平均薪水?？?000、本科8000、碩士8000

4、專業(yè)師資陣容

有責任心，懂教學(xué)，擁有大型項目經(jīng)驗實戰(zhàn)派講師授課，業(yè)內(nèi)專家及企業(yè)技術(shù)骨干組成教研團隊，準確把握企業(yè)需求

【教學(xué)風(fēng)采】

【學(xué)校簡介】

遠標教育（深圳市遠標培訓(xùn)中心），2003年成立，主要提供C++培訓(xùn),Linux嵌入式培訓(xùn),JAVA培訓(xùn),Android培訓(xùn),MTK手機開發(fā)培訓(xùn),.NET培訓(xùn)等軟件培訓(xùn)。已輸送20000多名大學(xué)生到深圳軟件企業(yè)工作，已和300多所高校和深圳3000多家軟件企業(yè)建立長期緊密的合作關(guān)系。