【課程介紹】
1. 需求理解
Hadoop 設(shè)計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性,正是這些設(shè)計上與生俱來的優(yōu)點,才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞,同時也引起了研究界的普遍關(guān)注。
對電信運營商而言,用戶上網(wǎng)日志包含了大量用戶個性化需求、喜好信息,對其進行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營分析系統(tǒng)小型機加關(guān)系型數(shù)據(jù)庫的架構(gòu)無法滿足對海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺,引入大數(shù)據(jù)處理技術(shù)的方式,實現(xiàn)高效率、低成本、易擴展的經(jīng)營分析系統(tǒng)混搭架構(gòu)成為電信運營商為傾向的選擇。本課程將全面介紹Hadoop平臺開發(fā)和運維的各項技術(shù),對學(xué)員使用該項技術(shù)具有很高的應(yīng)用價值。
2. 培訓(xùn)課程架構(gòu)與設(shè)計思路
(1)培訓(xùn)架構(gòu):
本課程分為三個主要部分:
部分:重點講述大數(shù)據(jù)技術(shù)在的應(yīng)用,使學(xué)員對大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認識,在這環(huán)節(jié)當(dāng)中會重點介紹Hadoop技術(shù)在整個大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。
第二部分:具體對hadoop技術(shù)進行模塊化分拆,從大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用談起,介紹Hadoop技術(shù)各主要應(yīng)用工具和方法,以及在運維維護當(dāng)中的主流做法,使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。
第三部分:重點剖析大數(shù)據(jù)的應(yīng)用案例,使學(xué)員在案例當(dāng)中對該項技術(shù)有更深入的感觀印象
(2)設(shè)計思路:
本課程采用模塊化教學(xué)方法,以案例分析為主線,由淺入深、循序漸進、由理論到實踐操作進行設(shè)計。
(3)與企業(yè)的貼合點:
本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略,圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場拓展發(fā)展目標,重點講授Hadoop的應(yīng)用技術(shù),提升企業(yè)IT技術(shù)人員的開發(fā)和運維能力,有很強的貼合度。
【培訓(xùn)對象】
業(yè)務(wù)支撐建設(shè)維護室、業(yè)務(wù)維護室、經(jīng)營分析室人員;網(wǎng)絡(luò)部、網(wǎng)管中心、網(wǎng)優(yōu)中心從事大數(shù)據(jù)相關(guān)工作的人員
【學(xué)習(xí)地點】
北京冠京飯店(請自帶筆記本電腦)
【培訓(xùn)目標】
掌握大數(shù)據(jù)處理平臺(Hadoop、Spark、Storm)技術(shù)架構(gòu)、以及平臺的安裝部署、運維配置、應(yīng)用開發(fā);掌握主流大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的技術(shù)架構(gòu)和實際應(yīng)用;利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進行存儲管理和分析挖掘的技術(shù)應(yīng)用;講解Hadoop生態(tài)系統(tǒng)組件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大數(shù)據(jù)存儲管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)
【培訓(xùn)大綱】
模塊一:移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹
模塊二:大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向
模塊三:大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用
模塊四:Hadoop文件系統(tǒng)HDFS佳實戰(zhàn)
模塊五:Hadoop運維管理與性能調(diào)優(yōu)
模塊六:NOSQL數(shù)據(jù)庫Hbase與Redis
模塊七:類SQL語句工具——Hive
模塊八:數(shù)據(jù)挖掘SPARK建?;A(chǔ)介紹
模塊九:Kafka基礎(chǔ)介紹
模塊十:大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析:互聯(lián)網(wǎng)數(shù)據(jù)運營
模塊十一:當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運營商、互聯(lián)網(wǎng)公司為例
模塊十二:課程總結(jié)與問題答疑
【師資介紹】
張老師:阿里大數(shù)據(jù)專家,國內(nèi)的Spark、Hadoop技術(shù)專家、虛擬化專家,對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進行了多年的深入的研究,更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應(yīng)用,因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有:某電信集團網(wǎng)絡(luò)優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等。
【頒發(fā)證書】
參加相關(guān)培訓(xùn)并通過考試的學(xué)員,可以獲得:
工業(yè)和信息化部全國網(wǎng)絡(luò)與信息技術(shù)項目管理中心頒發(fā)的-《大數(shù)據(jù)開發(fā)工程師證書》。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明,以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。注:請學(xué)員帶一寸彩照2張(背面注明姓名)、身份證復(fù)印件一張。
【培訓(xùn)費用及須知】
6800元/人(含教材、培訓(xùn)費、考證費以及學(xué)習(xí)用具等費用) 食宿統(tǒng)一安排,費用自理。
【上課現(xiàn)場】