【大數(shù)據(jù)基礎(chǔ)知識(shí)】如何學(xué)習(xí)大數(shù)據(jù)？

大數(shù)據(jù)是現(xiàn)在非常熱門(mén)的一種技術(shù)，學(xué)好了大數(shù)據(jù)也就意味著進(jìn)入了有前景的IT行業(yè)。但大數(shù)據(jù)的內(nèi)容太多了，對(duì)于眾多初學(xué)者來(lái)說(shuō)都不知道從哪入手。這就是小編寫(xiě)這篇文章的原因。本文將為您提供一條學(xué)習(xí)大數(shù)據(jù)的道路，幫助您盡快步入大數(shù)據(jù)領(lǐng)域。

大數(shù)據(jù)領(lǐng)域的技術(shù)涵蓋了Linux操作系統(tǒng)、Hadoop、Hive、HBase、Zookeeper、Kafka、Scala、Spark、Flink等等。這么多的技術(shù)，我們從哪開(kāi)始學(xué)起呢?這主要看我們對(duì)自己的定位是什么樣的。

大數(shù)據(jù)行業(yè)細(xì)分了很多角色，但大體上分成了大數(shù)據(jù)工程師和大數(shù)據(jù)分析師。

大數(shù)據(jù)工程師的主要工作是海量數(shù)據(jù)的收集和存儲(chǔ)，建立和維護(hù)大數(shù)據(jù)體系結(jié)構(gòu)，集群的安裝配置和維護(hù)。這些工作是進(jìn)行大數(shù)據(jù)分析的前提和基礎(chǔ)。大數(shù)據(jù)分析師則是在上面數(shù)據(jù)的基礎(chǔ)上，運(yùn)用統(tǒng)計(jì)方法和數(shù)據(jù)挖掘算法，找出數(shù)據(jù)之間的關(guān)系，為企業(yè)領(lǐng)導(dǎo)者提供有力的決策支撐。

現(xiàn)在，您已經(jīng)了解了大數(shù)據(jù)行業(yè)，以及大數(shù)據(jù)行業(yè)不同角色的職責(zé)要求。讓我們來(lái)看看要進(jìn)入大數(shù)據(jù)行業(yè)，您應(yīng)該走什么樣的道路。

首先，您要熟悉linux和shell腳本。這是處理大數(shù)據(jù)的基本要求。

其次，我們必須掌握一門(mén)編程語(yǔ)言。大數(shù)據(jù)技術(shù)大多是用Java或Scala編寫(xiě)的。但是您可能對(duì)著兩種語(yǔ)言都不熟悉。不要擔(dān)心，除了Java和Scala，您還可以選擇Python或者R語(yǔ)言，因?yàn)楝F(xiàn)在大多數(shù)大數(shù)據(jù)技術(shù)都廣泛支持Python和R。因此，您可以從上面提到的任何一種語(yǔ)言開(kāi)始。如果讓我給出建議，我建議選擇Java或Python。

再者，您需要了解分布式文件系統(tǒng)。現(xiàn)今流行的分布式文件系統(tǒng)是Hadoop分布式文件系統(tǒng)。

上面這三點(diǎn)是每個(gè)大數(shù)據(jù)工程師都必須要掌握的。

接下來(lái)，是您決定是使用數(shù)據(jù)流還是離線大量數(shù)據(jù)的時(shí)候了。

假設(shè)您決定使用數(shù)據(jù)流來(lái)開(kāi)發(fā)實(shí)時(shí)或接近實(shí)時(shí)的分析系統(tǒng)。那么Spark Streaming或Flink將是我們的首選。在實(shí)時(shí)數(shù)據(jù)處理領(lǐng)域，這兩個(gè)都各有千秋。

如果您處理的是離線數(shù)據(jù)，Spark Core和Spark SQL將是我們的首選，不論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)，Spark都可以輕松應(yīng)對(duì)。并且相比較傳統(tǒng)的MapReduce速度快了大約100倍。