【大數(shù)據(jù)基礎(chǔ)知識(shí)】Hadoop之HDFS概述

隨著我們業(yè)務(wù)數(shù)據(jù)量越來(lái)越大，在一個(gè)操作系統(tǒng)管轄的范圍內(nèi)存不下了，那么就需要分配到更多的操作系統(tǒng)管理的磁盤(pán)中。但是這給我們帶來(lái)的一個(gè)問(wèn)題就是，更多的操作系統(tǒng)非常不方便集中管理和維護(hù)。這時(shí)迫切需要一種系統(tǒng)來(lái)管理多臺(tái)機(jī)器上的文件，這就產(chǎn)生了分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。

HDFS(Hadoop Distributed File System)，它是一個(gè)分布式文件管理系統(tǒng)。一是，用于存儲(chǔ)文件，通過(guò)目錄樹(shù)來(lái)定位文件;其次，它是分布式的，由很多服務(wù)器聯(lián)合起來(lái)實(shí)現(xiàn)其功能，并且集群中的服務(wù)器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。HDFS的設(shè)計(jì)適合一次寫(xiě)入，多次讀出的場(chǎng)景，但不支持文件的修改。HDFS適合用來(lái)做數(shù)據(jù)分析，并不適合用來(lái)做網(wǎng)盤(pán)應(yīng)用。

下面我們來(lái)看下HDFS的優(yōu)缺點(diǎn)吧。

HDFS優(yōu)點(diǎn)：

(1) 高容錯(cuò)性

a)每份數(shù)據(jù)都自動(dòng)保存多個(gè)副本。HDFS正是通過(guò)增加副本的的方式來(lái)提高容錯(cuò)性;

b)如果某個(gè)副本丟失，HDFS還可以自動(dòng)恢復(fù)。

(2) 適合大數(shù)據(jù)處理

(a)數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到GB、TB、甚至PB級(jí)別的數(shù)據(jù);

(b)文件規(guī)模：能夠處理百萬(wàn)規(guī)模以上的文件數(shù)量，數(shù)量相當(dāng)之大。

(3) 流式數(shù)據(jù)訪(fǎng)問(wèn)，它能保證數(shù)據(jù)的一致性。

(4) 可構(gòu)建在廉價(jià)機(jī)器上，通過(guò)多副本機(jī)制，提高可靠性。這一點(diǎn)也是HDFS的突出優(yōu)勢(shì)，高性能的集群無(wú)需采用價(jià)格高昂的服務(wù)器，而是構(gòu)建在廉價(jià)的機(jī)器上呢。

HDFS缺點(diǎn)：

(1) 不適合低延時(shí)數(shù)據(jù)訪(fǎng)問(wèn)，比如毫秒級(jí)的存儲(chǔ)數(shù)據(jù)，是做不到的。

(2) 無(wú)法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)。

a) 存儲(chǔ)大量小文件的話(huà)，它會(huì)占用NameNode大量的內(nèi)存來(lái)存儲(chǔ)文件、目錄和塊信息。這樣是不可取的，因?yàn)镹ameNode的內(nèi)存畢竟是有限的。

b) 小文件存儲(chǔ)的尋址時(shí)間會(huì)超過(guò)讀取時(shí)間，它違反了HDFS的設(shè)計(jì)目標(biāo)。

(3) 不支持并發(fā)寫(xiě)入、文件隨機(jī)修改。

a) 一個(gè)文件只能有一個(gè)寫(xiě)，不允許多個(gè)線(xiàn)程同時(shí)寫(xiě);

b) 僅支持?jǐn)?shù)據(jù)append(追加)，不支持文件的隨機(jī)修改。