400-650-7353

精品課程

MapReduce編程原理 MapReduce編程原理是什么？

發(fā)布： 大數據培訓 發(fā)布時間：2021-08-06 14:30:46

推薦答案
品牌型號：聯(lián)想 YOGA 14c/系統(tǒng)版本：windows7

MapReduce是采用一種分而治之的思想設計出來的分布式計算框架，主要被應用于搜索領域，解決海量數據的計算問題。MapReduce由兩個階段組成：Map和Reduce，用戶只需要實現(xiàn)map()和reduce()兩個函數，即可實現(xiàn)分布式計算。

1、Map階段

map task的map()函數以key-value對作為輸入，產生一系列kv對作為中間輸出寫入本地磁盤。

2、Reduce階段

reduce()函數通過網絡將map的輸出(kv對)作為輸入，產生另一系列kv對作為最終輸出寫入到hdfs，這時的key-value對是計算結果。

MapReduce的優(yōu)點：

1)易于編程

MapReduce只需簡單地實現(xiàn)一些接口,就可以完成一個分布式程序,這個分布式程序可以分布到大量廉價的PC機上運行。

2)良好的可擴展性

當計算機資源得不到滿足的時候,可以通過簡單的增加機器來擴展它的計算能力。

3)高容錯性

比如一臺機器掛了,可以把它上面的計算任務轉移到另一個節(jié)點上運行,不至于整個任務運行失敗,而且這個過程不需要人工干預,完全由hadoop內部完成。

4)高吞吐量

能對PB量級以上海量數據進行離線處理，適合離線處理而不適合實時處理。
 

其它答案
冰闊落2020-06-22 18:56:36

MapReduce執(zhí)行步驟：

1、map任務處理

(a)讀取輸入文件內容，解析成key、value對。對輸入文件的每一行，解析成key、value對。每一個鍵值對調用一次map函數。

(b)寫自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

2、reduce任務處理

(a)在reduce之前，有一個shuffle的過程對多個map任務的輸出進行合并、排序。

(b)寫reduce函數自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

(c)把reduce的輸出保存到文件中。

上一篇：dns服務器地址

下一篇：dns查詢方式

中公旗下IT培訓品牌

  • 中公教育品牌

    　中公教育是一家中國領先的全品類職業(yè)教育機構，提供超過100個品類的綜合職業(yè)就業(yè)培訓服務。公司在全國超過1000個直營網點展開經營，深度覆蓋300多個地級市，并正在快速向數千個縣城和高校擴張。

  • 完善就業(yè)體系

    通過階段性授課機制，和每階段的定期考核，先讓學員能夠學會所學內容，才能找打合適工作。最后一個階段為就業(yè)課程，從技術和面試兩個方面加深就業(yè)能力，并且還有不定期的雙選會供大家選擇。

  • 全程面授+實戰(zhàn)技術

    線下課程全程是師資面對面教學，不會存在上課只對著大屏幕上課的情況，有問題都可以在課上得到解答。并且優(yōu)就業(yè)通過自主研發(fā)大綱和學習路線，并且定期更新課程所學技術，讓大家所學技術不落伍。

中公優(yōu)就業(yè)專業(yè)職業(yè)規(guī)劃老師

為您詳細答疑解惑，更能領取免費課程

相關問題

更多課程

專業(yè)課程老師將第一時間為您解答

立即答疑
修改
優(yōu)就業(yè)：ujiuye

關注中公優(yōu)就業(yè)官方微信

  • 關注微信回復關鍵詞“大禮包”，領80G學習資料