這篇文章是寶器在知乎上的一個問答,超級菜鳥如何入門數(shù)據(jù)分析?
我的回答全文大致如下(全文很長,建議收藏閱讀):
經(jīng)常看到很多朋友會問,入行數(shù)據(jù)分析之前我要不要學個java,學個Tableau,然后在學個Python會比較容易。好像是說,數(shù)據(jù)分析一定需要Python才能做,分析變成了為某種編程語言、某種可視化工具服務。
其實這樣誤區(qū)的是很不對的,按這種方式學習下去,即使最 后Python學的很好,也挺難找到一份數(shù)據(jù)分析的工作。
01
什么是數(shù)據(jù)分析
所以在討論這個話題之前,第 一個問題可能要思考的是什么是數(shù)據(jù)分析。為了簡便,第 一部分寶器先用之前整理的幾張圖回答,詳細文章請見:
請先耐心看完第 一部分:
02
數(shù)據(jù)分析職業(yè)發(fā)展不同階段
第二部分談的是關(guān)于數(shù)據(jù)分析這個崗位不同階段所需要業(yè)務能力和技能需求(這一部分來源參考了各種大佬的解答)。
第 一階段:助理分析師,這是個使命必達的階段,你核心要做的是快速學習,執(zhí)行配合,業(yè)務能力上你需要做到幾點:
問題識別:在一定指導下準確識別問題
分析規(guī)劃:在一定知道下完成分析規(guī)劃
數(shù)據(jù)獲取:提取簡單數(shù)據(jù),了解分析方法
展示演示:能夠形成報告,展示分析結(jié)果
價值應用:完成業(yè)務需求,提出自己的見解
執(zhí)行和管理能力:合理分配和安排,完成分析任務即可。
影響力:這一階段基本上是學習階段,沒什么大的影響力。
第二階段:數(shù)據(jù)分析師,這是個無懈可擊的階段,你核心要做的是獨立執(zhí)行,小有成就,業(yè)務能力上你需要做到幾點:
問題識別:能夠獨立清晰的識別問題
分析規(guī)劃:明確范圍并做好分析規(guī)劃
數(shù)據(jù)獲?。菏炀毺崛?shù)據(jù),應用分析方法
展示演示:展現(xiàn)的條理、邏輯、表達清晰
價值應用:提出建議并推動建議被采納
執(zhí)行和管理能力:作為核心成員、控制項目進度和質(zhì)量
影響力:推動建議被采納,跨團隊溝通協(xié)調(diào)
第三階段:資深數(shù)據(jù)分析師,這是個無中生有的階段,你核心要做的是發(fā)掘項目,主動執(zhí)行,業(yè)務能力上你需要做到幾點:
問題識別:發(fā)現(xiàn)問題并轉(zhuǎn)化成分析目標
分析規(guī)劃:提煉問題并做好分析規(guī)劃
數(shù)據(jù)獲?。菏炀毺崛?shù)據(jù),指導員工分析
展示演示:結(jié)論突出清晰、指導員工
價值應用:提出有效建議,獨立主動
執(zhí)行和管理能力:領(lǐng)導跨部門項目、尋求資源
影響力:具備一定判斷力和影響力
第四階段:數(shù)據(jù)分析專家,這是個獨當一面的階段,你核心要做的是推動業(yè)務,輔導團隊,業(yè)務能力上你需要做到幾點:
問題識別:識別問題并推動解決問題
分析規(guī)劃:提煉問題并做好分析規(guī)劃
數(shù)據(jù)獲?。菏炀毺崛?shù)據(jù),指導員工分析
展示演示:結(jié)論突出清晰、指導員工
價值應用:提出有效建議,獨立主動
執(zhí)行和管理能力:完成影響力大的復雜項目
影響力:具備較強判斷力和影響力
第五階段:高級數(shù)據(jù)分析專家,這是個紅杏出墻的階段,你核心要做的是統(tǒng)籌規(guī)劃,名聲在外,業(yè)務能力上你需要做到幾點:
問題識別:思考數(shù)據(jù)的價值并規(guī)劃推進
分析規(guī)劃:提煉問題并做好分析規(guī)劃
數(shù)據(jù)獲?。菏炀毺崛?shù)據(jù),指導員工分析
展示演示:結(jié)論突出清晰、指導員工
價值應用:提出有效建議,獨立主動
執(zhí)行和管理能力:完成影響力大的復雜項目
影響力:分享和指導,在公司層面具有強影響力
第六階段:資深數(shù)據(jù)分析專家,這是個諸葛連弩的階段,你核心要做的是參與決策、指揮有度,業(yè)務能力上你需要做到幾點:
問題識別:提出業(yè)務的前瞻性建議
分析規(guī)劃:提煉問題并做好分析規(guī)劃
數(shù)據(jù)獲?。菏炀毺崛?shù)據(jù),指導員工分析
展示演示:結(jié)論突出清晰、指導員工
價值應用:提出有效建議,獨立主動
執(zhí)行和管理能力:完成影響力大的復雜項目
影響力:在專業(yè)領(lǐng)域有一定影響力
03
你需要的技能樹拆解
這一部分談的數(shù)據(jù)從業(yè)者需要學習的一些技能,下圖后面有拆解版(圖打開看更清晰)。
概括為以下內(nèi)容:
1、SQL腳本取數(shù)
SQL一定要寫的非常熟練,最 好是熟悉Hive-sql,可參見以下幾篇文章:
2、統(tǒng)計學理論
統(tǒng)計學可分部分學習,第 一部分是描述性統(tǒng)計,分別要掌握以下知識點:
第二部分是推斷性統(tǒng)計,你最少要知道中心極限定理、大數(shù)定律、置信區(qū)間、假設檢驗、t檢驗、f檢驗、卡方檢驗、ABtest等等。(面試考這一部分較多)可參考這篇文章:
3、機器學習理論。
這部分你需要從幾點準備,第 一要理解每個算法的應用背景,優(yōu)缺點(最重要的)。第二,熟悉常見的公式推倒(不需要每個都會)。大致要掌握的是邏輯回歸、SVM、決策樹、隨機森林、Adboost、XGboost等集成學習、神經(jīng)網(wǎng)絡。(DNN、CNN、inception、ResNet、RNN、LSTM等深度學習算法在數(shù)據(jù)分析面試中很少問,不需要準備那么多)
4、業(yè)務分析。
這部分可以從“人人都是產(chǎn)品經(jīng)理”社區(qū)、增長黑客等內(nèi)容學習,你最少要知道Pv、Uv、DAU等各種指標,如何進行指標拆解、如何進行流量分析、留存分析、用戶行為分析,啥是海盜模型,RFM模型、某個指標下降/上升如何分析等等。寶器之前做流量分析的時候會做一個這樣框架圖,其他的也可參考:
5、
工具類
語言:非大數(shù)據(jù)類R、Python最多(比較geek的也有用julia的,不差錢和某些公司要求的用SAS、Matlab)。
可視化:Tableau、http://plot.ly、d3.js、echarts.js,R里面的ggplot、ggvis,Python里的bokeh、matplotlib、seaborn、Pyechart等都不錯.
其他框架、類庫(選學):爬蟲(requests、beautifulsoup、scrapy).
04
想好自己的發(fā)展方向
數(shù)據(jù)分析的小方向比較多,分類方法也不盡相同。在這里根據(jù)技術(shù)要求的側(cè)重點不同,簡單的劃分為三個方向(這部分回答乘次不齊,有的是直接簡單的分技術(shù)類和業(yè)務類,這里參考廣大網(wǎng)友作答):
1、BI方向
BI的概念已經(jīng)出現(xiàn)很久了,但仍然不過時。
重點在于如何設計高效的數(shù)據(jù)模型,以及如何通過BI工具從多個角度觀察數(shù)據(jù),了解數(shù)據(jù)內(nèi)部的規(guī)律。
傳統(tǒng)的BI工具可以滿足大部分傳統(tǒng)企業(yè)的數(shù)據(jù)分析場景。近些年隨著分析工具功能日趨強大,大數(shù)據(jù)領(lǐng)域的BI平臺也有了長足的發(fā)展。所以BI仍然具有強大的生命力。
2、機器學習方向
機器學習與BI的區(qū)別在于,更多的依賴機器模擬人類學習的過程去發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的規(guī)律,構(gòu)建一個數(shù)據(jù)模型,通過某些算法來預測未來的可能性。
機器學習和深度學習概念非?;馃?,但相對入門門檻也較高,因為想真正理解那些算法的原理需要高等數(shù)學的基礎(chǔ)。
3、行業(yè)分析方向
還有一些數(shù)據(jù)分析師,僅僅通過一些公開的市場宏觀數(shù)據(jù),通過經(jīng)濟學和統(tǒng)計學分析方法,觀察經(jīng)濟的運行狀況,從而發(fā)現(xiàn)行業(yè)的經(jīng)濟發(fā)展規(guī)律,進一步預測未來行業(yè)發(fā)展的趨勢。這個方向也很不錯的,但是需要對統(tǒng)計和經(jīng)濟學有一定基礎(chǔ)。
首先要認準自身的優(yōu)勢,參考上面列出的幾個發(fā)展方向,選擇其一進行深入的學習和實踐。
如果計算機基礎(chǔ)比較好,擅長SQL和BI工具,可以向著BI方向發(fā)展;如果數(shù)學基礎(chǔ)比較好,可以考慮機器學習方向;如果對所在行業(yè)的業(yè)務比較精通,也可以從事業(yè)務分析或行業(yè)分析方向。
做適合的和喜歡的最重要。不論哪個方向,都是要先掌握工具使用,了解你要分析的業(yè)務流程,培養(yǎng)獨到的分析思維模式,鍛煉自己的表達。
關(guān)于貪心學院
北京貪心科技有限公司是一家追求極 致、有情懷的教育科技公司,目前專注在泛AI領(lǐng)域的在線教育,從產(chǎn)品的角度我們提供非常體系化的AI內(nèi)容,滿足不同用戶對技能提升的需求。另外,從技術(shù)驅(qū)動的角度,我們力求借助AI的技術(shù)來優(yōu)化整個教學環(huán)節(jié)的效率,讓在線教育真正變得智能化、實現(xiàn)智能教育的 4.0。我們的核心團隊由微軟、谷歌、亞馬遜、百度等企業(yè)的科學家、資深算法工程師組成,其中絕大部分畢業(yè)于海內(nèi)外最頂 尖學府如CMU、USC、哥大、耶魯?shù)鹊取?/p>