技術(shù)：大數(shù)據(jù)六大處理分析工具介紹一?

通過前面的文章介紹,，合肥佳達(dá)小編給了大家大數(shù)據(jù)一個(gè)基本的概念和對(duì)核心價(jià)值的把握,，但大數(shù)據(jù)能給客戶的網(wǎng)絡(luò)推廣營銷等帶來哪些實(shí)際的價(jià)值和意義,，可以說我們還在摸索中,；雖然距離還很遙遠(yuǎn)，但探求的步伐一刻都未停止,。

本文將重點(diǎn)介紹大數(shù)據(jù)六大處理分析工具中三個(gè),。
1）Storm
Storm是自由的開源軟件,，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng),。Storm可以非常可靠的處理龐大的數(shù)據(jù)流,，用于處理Hadoop的批量數(shù)據(jù),。 Storm很簡(jiǎn)單，支持許多種編程語言,，使用起來非常有趣,。Storm由Twitter開源而來，其它知名的應(yīng)用企業(yè)包括Groupon,、淘寶,、支付寶、阿里巴巴,、樂元素,、Admaster等等。Storm有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析,、在線機(jī)器學(xué)習(xí),、不停頓的計(jì)算、分布式RPC(遠(yuǎn)過程調(diào)用協(xié)議,，一種通過網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù)),、 ETL(Extraction-Transformation-Loading的縮寫，即數(shù)據(jù)抽取,、轉(zhuǎn)換和加載)等等,。Storm的處理速度驚人：經(jīng)測(cè) 試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬個(gè)數(shù)據(jù)元組,。Storm是可擴(kuò)展,、容錯(cuò)，很容易設(shè)置和操作,。
2）Apache Drill
為了幫助企業(yè)用戶尋找更為有效,、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會(huì)近日發(fā)起了一項(xiàng)名為“Drill”的開源項(xiàng)目,。Apache Drill 實(shí)現(xiàn)了 Google’s Dremel.
據(jù)Hadoop廠商MapR Technologies公司產(chǎn)品經(jīng)理Tomer Shiran介紹,，“Drill”已經(jīng)作為Apache孵化器項(xiàng)目來運(yùn)作，將面向全球軟件工程師持續(xù)推廣,。
該項(xiàng)目將會(huì)創(chuàng)建出開源版本的谷歌Dremel Hadoop工具(谷歌使用該工具來為Hadoop數(shù)據(jù)分析工具的互聯(lián)網(wǎng)應(yīng)用提速),。而“Drill”將有助于Hadoop用戶實(shí)現(xiàn)更快查詢海量數(shù)據(jù)集的目的。
“Drill”項(xiàng)目其實(shí)也是從谷歌的Dremel項(xiàng)目中獲得靈感：該項(xiàng)目幫助谷歌實(shí)現(xiàn)海量數(shù)據(jù)集的分析處理,，包括分析抓取Web文檔,、跟蹤安裝在Android Market上的應(yīng)用程序數(shù)據(jù),、分析垃圾郵件、分析谷歌分布式構(gòu)建系統(tǒng)上的測(cè)試結(jié)果等等,。
通過開發(fā)“Drill”Apache開源項(xiàng)目,，組織機(jī)構(gòu)將有望建立Drill所屬的API接口和靈活強(qiáng)大的體系架構(gòu)，從而幫助支持廣泛的數(shù)據(jù)源,、數(shù)據(jù)格式和查詢語言,。
3）Hadoop
Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop 是以一種可靠,、高效,、可伸縮的方式進(jìn)行處理的。Hadoop 是可靠的,，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗,，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)Hadoop
Hadoop失敗的節(jié)點(diǎn)重新分布處理,。Hadoop 是高效的,，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^并行處理加快處理速度,。Hadoop 還是可伸縮的,，能夠處理 PB 級(jí)數(shù)據(jù)。此外,，Hadoop 依賴于社區(qū)服務(wù)器,，因此它的成本比較低，任何人都可以使用,。
Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái),。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：
A.高可靠性,。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴,。
B.高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的,，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中,。
C.高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù),，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,，因此處理速度非常快,。
D.高容錯(cuò)性,。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配,。
Hadoop帶有用 Java 語言編寫的框架,，因此運(yùn)行在 Linux 生產(chǎn)平臺(tái)上是非常理想的,。Hadoop 上的應(yīng)用程序也可以使用其他語言編寫，比如 C++,。
篇幅的原因,，本文只介紹了六大工具中的三個(gè)，不過大家不要著急,，合肥網(wǎng)站優(yōu)化公司佳達(dá)小編下一篇就為大家奉上另外三個(gè)工具,；本文先對(duì)這三個(gè)工具的名字做一個(gè)預(yù)告：HPCC、Pentaho BI和RapidMiner,。