武漢大數(shù)據(jù)開發(fā)工程師課程

【課程特點】

微信、智能公交站牌……在大數(shù)據(jù)時代背景下，我們的行為每時每刻都在產(chǎn)生著數(shù)據(jù)，而這些數(shù)據(jù)改變著我們的生活。大數(shù)據(jù)產(chǎn)業(yè)已逐步從概念走向落地，90%企業(yè)都在使用大數(shù)據(jù)，而大數(shù)據(jù)高端軟件類人才供應遠不能滿足時代的發(fā)展。有報告指出，數(shù)據(jù)分析師已成當下中國互聯(lián)網(wǎng)行業(yè)需求旺盛的六類人才職位之一，并且未來中國基礎性數(shù)據(jù)分析人才缺口將達到 1400 萬。hadoop 解決大數(shù)據(jù)量高并發(fā)訪問的瓶頸。谷歌、淘寶、百度、京東等底層都應用 hadoop。越來越多的企業(yè)急需引入 hadoop 技術(shù)人才。由于掌握 Hadoop 技術(shù)的開發(fā)人員并不多，直接導致了這幾年 hadoop 技術(shù)的薪水遠高于 JavaEE 及 Android 程序員。

【適合人群】

有編程興趣、有意向從事軟件開發(fā)。

應用電子技術(shù)、通信工程、信息工程、計算機應用、物聯(lián)網(wǎng)等相關(guān)專業(yè)應屆畢業(yè)生。

有編程開發(fā)經(jīng)驗，準備從事大數(shù)據(jù)應用開發(fā)的工程師

【課程目標】

熟練掌握 JAVA 編程語言，如：java 面向?qū)ο笏枷?、java 多線程、泛型、反射、java 設計模式等。

熟練掌握 JAVAWEB 開發(fā)

熟練掌握 Linux

熟練掌握 Hadoop 框架、大數(shù)據(jù)倉庫 Hive、分布式數(shù)據(jù)庫 HBase

熟練掌握 Storm 實時數(shù)據(jù)處理

熟練掌握 Scale 語言

熟練掌握 Spark 框架

【職業(yè)規(guī)劃】

JAVAEE 開發(fā)工程師

大數(shù)據(jù)開發(fā)工程師

Spark 大數(shù)據(jù)開發(fā)工程師

Hadoop 大數(shù)據(jù)開發(fā)工程師

Storm 大數(shù)據(jù)開發(fā)工程師

Hive 工程師

ETL 開發(fā)工程師

推薦系統(tǒng)開發(fā)工程師

【課程大綱】

階段 JAVA 基礎課程（課程時長：10 天）

本階段主要針對 java 基礎進行學習，全面講解 Java 語言基礎部分，重點 掌握類、對象、java 面向?qū)ο筇匦?、接口、等主要?nèi)容。通過此階段學習，學 員基本熟練掌握 java 語法，理解 java 特性，能夠用 java 語言去編程相關(guān)應用 程序。

第二階段 java 課（課程時長：15 天）

學習 java Web 都需要有比較扎實的 java 語言開發(fā)基礎，因此需要對學員 的 java 語言進行強化。對于有 java 語言編程基礎的學員來說此課程能夠?qū)W 員平時容易忽略和沒有參透的重要內(nèi)容加以強化。對于沒有 java 語言編程基礎 的學員來說可以迅速掌握 java 的核心技術(shù)。

第三階段 JAVA WEB 核心（課程時長：15 天）

因為數(shù)據(jù)要有展現(xiàn)載體，本階段主要針對 Web 靜態(tài)資源、JAVA WEB 后端實 現(xiàn)，主要圍繞 html5、css、javascript、jsp、servlet 等 JAVA WEB 基礎進行 學習，熟練掌握JAVA WEB原理、http協(xié)議、Tomcat容器使用、通過Servlet+jsp+javabean 的 mvc 模式開發(fā) Java Web 應用

第四階段 大數(shù)據(jù)平臺的基礎軟件平臺（課程時長：5 天）

本階段主要學習大數(shù)據(jù)應用離不開基礎軟件的支撐 ，且大部分大數(shù)據(jù)組件 部署在 Linux 操作系統(tǒng)上的用戶空間 ，也有很多組件也借鑒了 Linux 操作系 統(tǒng)的一些設計精髓 ，所以 Linux 既是大數(shù)據(jù)的強力支撐 ，本部分通過對 Linux 操作系統(tǒng)、展示大數(shù)據(jù)賴以生存的基礎環(huán)境。

第五階段 大數(shù)據(jù)離線技術(shù)分析

大數(shù)據(jù)離線處理特點數(shù)據(jù)量巨大且保存時間長、在大量數(shù)據(jù)上進行復雜的批量運算、數(shù)據(jù)在計算之前已經(jīng)完全到位，不會發(fā)生變化，能夠方便的查詢批量計算的結(jié)果，離線處理目前技術(shù)上已經(jīng)成熟，使用 Hdfs 存儲數(shù)據(jù)，使用MapReduce 做批量計算，計算完成的數(shù)據(jù)如需數(shù)據(jù)倉庫的存儲，直接存入Hive , 然后從 Hive 進行展現(xiàn)。當階段主要講解：Hadoop 核心組件、MapReduce、Hive 等等技術(shù)

第六階段 大數(shù)據(jù)實時技術(shù)分析

當今時代，數(shù)據(jù)不再昂貴，但從海量數(shù)據(jù)中獲取價值變得昂貴，而要及時

獲取價值則更加昂貴，這正是大數(shù)據(jù)實時計算越來越流行的原因， 實時處理大

第七階段 分布式搜索

在大數(shù)據(jù)里面文本數(shù)據(jù)的搜索是很重要的一塊，特別是里面的分詞技術(shù)，，

我們需要深入學習 java 領域里面的搜索核心技術(shù) lucene，同時也可以了解到

百度 google 這樣的搜索系統(tǒng)是怎么架構(gòu)實現(xiàn)的。

第八階段 機器學習（課程時長：5 天）

本課程基于 SparkMLlib 和 Mahout 大數(shù)據(jù)系列的機器學習框架，通過對常 用機器學習算法的原理理解以及編程應用，幫助學生理解各種常用有監(jiān)督、無 監(jiān)督算法的原理以及應用場景。通過該形式的學習方式可以避免學員數(shù)學基礎 差的問題，可以有效的幫助學員掌握必須掌握的機器學習基本算法。而且課程 中會使用到的案例基本上均是企業(yè)中實際遇到的問題，通過該課程的學習，可 以讓學員提前了解機器學習和大數(shù)據(jù)結(jié)合的技術(shù)在企業(yè)中的應用方式。 通過對本課程的學習，學員可以對分類、回歸等算法有較為深入的了解， 以大數(shù)據(jù)為核心基礎，在不涉及大量數(shù)學模型與復雜編程知識的前提下，講師 逐步帶領學員熟悉并且掌握當下流行的機器學習算法，如回歸、決策樹、SVM 等，并通過代碼實例來展示所討論的算法的實際應用。

第九階段 大型企業(yè)項目實戰(zhàn)（課程時長：8 天）

【學校簡介】

廣州粵嵌通信科技股份有限公司的前身是廣東省嵌入式軟件技術(shù)公共中心，于 2005 年在廣州科學城成立，由美的集團與廣東省政府合作創(chuàng)辦。廣州粵嵌通信科技股份有限公司于2011 年注冊成立，注冊資金 500 萬，新三板上市企業(yè)?，F(xiàn)今，公司已經(jīng)獲得專利產(chǎn)品20 多項，專利技術(shù)及軟著 30 多項，公司擁有國際先進水平的開發(fā)軟件、儀器及設備。公司現(xiàn)有粵嵌眾創(chuàng)、粵嵌研發(fā)等品牌業(yè)務。公司經(jīng)過多年的發(fā)展，秉承“行業(yè)引領,齊商共贏,開拓創(chuàng)新,服務誠信”的核心經(jīng)營理念，為業(yè)界提供全面的 IT 技術(shù)產(chǎn)品、服務和解決方案，在發(fā)展過程中形成了在 IT 技術(shù)自主創(chuàng)新方面的優(yōu)勢和能力。