在Hadoop框架中最著名的就是MapReduce組件，它的處理邏輯來源于谷歌的舊三駕馬車之一——MapReduce。

MapReduce是解決問題并行任務(wù)的一種模型，將一個可拆解的任務(wù)分散到多個計算節(jié)點進行計算，最后合并計算結(jié)果。

例如，現(xiàn)在需要解決一個問題：盡可能以比較快的速度統(tǒng)計一個圖書館在書架上一共陳列了多少本書。

圖 統(tǒng)計圖書館的書

一種方法是，找一個在數(shù)數(shù)方面有超高本領(lǐng)的人，由他一個人來完成;另一種方法是，雇用一大批資質(zhì)平庸的負責(zé)統(tǒng)計圖書數(shù)量的人和一個負責(zé)分配任務(wù)的人，由分配任務(wù)的人負責(zé)劃分區(qū)域，確保每個人都分到一部分要統(tǒng)計的書架，不重不漏。然后對所有的人下發(fā)開始統(tǒng)計的指令，統(tǒng)計圖書的人將自己負責(zé)的區(qū)域統(tǒng)計完成記錄到紙上，所有統(tǒng)計圖書的人上交統(tǒng)計結(jié)果后，負責(zé)分配任務(wù)的人將所有人的統(tǒng)計結(jié)果進行累加，得到圖書統(tǒng)計的結(jié)果。如果中途有人因為一些意外原因發(fā)生計數(shù)終止，那么就再派一個人前去重新完成他未完成的工作任務(wù)。

不難想象，如果方法得當(dāng)，后一種方法要比前一種方法靠譜一些。

這個有超高本領(lǐng)的人是不是容易被找到，他一個人會不會有失誤，他的薪水要求是不是太高，這些問題的可控性會變得非常不好。而資質(zhì)平庸的人通常在市場供應(yīng)方面不會讓我們那么擔(dān)心，只要統(tǒng)計的方法論和調(diào)度方式?jīng)]有問題，不僅這種方式的風(fēng)險更小，而且成本更低，速度更快，MapReduce就是這樣一種并行機制。

下面從辯證的角度來看這種機制的優(yōu)點和缺點。優(yōu)點如下：

(1)隱藏大量技術(shù)細節(jié)。開發(fā)人員不需要關(guān)注容災(zāi)管理、負載均衡和并行計算實現(xiàn)的代碼部分，只需要調(diào)用相關(guān)的API，設(shè)置參數(shù)即可。

(2)可伸縮性好。在Map階段，可以實現(xiàn)每增加一臺服務(wù)器就將計算能力接入到集群里，而且能實現(xiàn)在集群運行時添加計算節(jié)點(一般用在線擴容這個技術(shù)名詞來描述這一特點)。缺點如下

(1)實時性差。和磁盤交互頻繁，中間要多次將計算結(jié)果保存到磁盤，使實時計算能力大打折扣。

(2)編程習(xí)慣需要適應(yīng)。需要將在學(xué)習(xí)《數(shù)據(jù)結(jié)構(gòu)》或者算法理論中學(xué)習(xí)到的算法實現(xiàn)方式轉(zhuǎn)換成為MapReduce方式，編程時需要特意構(gòu)建這種程序邏輯。而且這種方式的局限性導(dǎo)致并非所有的問題都適合用MapReduce方式進行解決。

雖然有不少缺點，但是Hadoop仍然是目前離線計算的利器。