技術(shù)：大數(shù)據(jù)六大處理分析工具介紹一?

通過前面的文章介紹，合肥佳達小編給了大家大數(shù)據(jù)一個基本的概念和對核心價值的把握，但大數(shù)據(jù)能給客戶的網(wǎng)絡(luò)推廣營銷等帶來哪些實際的價值和意義,，可以說我們還在摸索中；雖然距離還很遙遠,，但探求的步伐一刻都未停止。

本文將重點介紹大數(shù)據(jù)六大處理分析工具中三個,。
1）Storm
Storm是自由的開源軟件,，一個分布式的、容錯的實時計算系統(tǒng),。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù),。 Storm很簡單,，支持許多種編程語言，使用起來非常有趣,。Storm由Twitter開源而來,，其它知名的應(yīng)用企業(yè)包括Groupon、淘寶,、支付寶,、阿里巴巴、樂元素,、Admaster等等。Storm有許多應(yīng)用領(lǐng)域：實時分析,、在線機器學(xué)習,、不停頓的計算、分布式RPC(遠過程調(diào)用協(xié)議,，一種通過網(wǎng)絡(luò)從遠程計算機程序上請求服務(wù)),、 ETL(Extraction-Transformation-Loading的縮寫，即數(shù)據(jù)抽取,、轉(zhuǎn)換和加載)等等,。Storm的處理速度驚人：經(jīng)測 試，每個節(jié)點每秒鐘可以處理100萬個數(shù)據(jù)元組,。Storm是可擴展,、容錯，很容易設(shè)置和操作。
2）Apache Drill
為了幫助企業(yè)用戶尋找更為有效,、加快Hadoop數(shù)據(jù)查詢的方法,，Apache軟件基金會近日發(fā)起了一項名為“Drill”的開源項目。Apache Drill 實現(xiàn)了 Google’s Dremel.
據(jù)Hadoop廠商MapR Technologies公司產(chǎn)品經(jīng)理Tomer Shiran介紹,，“Drill”已經(jīng)作為Apache孵化器項目來運作,，將面向全球軟件工程師持續(xù)推廣。
該項目將會創(chuàng)建出開源版本的谷歌Dremel Hadoop工具(谷歌使用該工具來為Hadoop數(shù)據(jù)分析工具的互聯(lián)網(wǎng)應(yīng)用提速),。而“Drill”將有助于Hadoop用戶實現(xiàn)更快查詢海量數(shù)據(jù)集的目的,。
“Drill”項目其實也是從谷歌的Dremel項目中獲得靈感：該項目幫助谷歌實現(xiàn)海量數(shù)據(jù)集的分析處理，包括分析抓取Web文檔,、跟蹤安裝在Android Market上的應(yīng)用程序數(shù)據(jù),、分析垃圾郵件、分析谷歌分布式構(gòu)建系統(tǒng)上的測試結(jié)果等等,。
通過開發(fā)“Drill”Apache開源項目,，組織機構(gòu)將有望建立Drill所屬的API接口和靈活強大的體系架構(gòu)，從而幫助支持廣泛的數(shù)據(jù)源,、數(shù)據(jù)格式和查詢語言,。
3）Hadoop
Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠,、高效,、可伸縮的方式進行處理的。Hadoop 是可靠的,，因為它假設(shè)計算元素和存儲會失敗,，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對Hadoop
Hadoop失敗的節(jié)點重新分布處理,。Hadoop 是高效的,，因為它以并行的方式工作，通過并行處理加快處理速度,。Hadoop 還是可伸縮的,，能夠處理 PB 級數(shù)據(jù)。此外,，Hadoop 依賴于社區(qū)服務(wù)器,，因此它的成本比較低，任何人都可以使用,。
Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺,。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個優(yōu)點：
A.高可靠性,。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴,。
B.高擴展性,。Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中,。
C.高效性,。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡,，因此處理速度非?？臁?br /> D.高容錯性,。Hadoop能夠自動保存數(shù)據(jù)的多個副本,，并且能夠自動將失敗的任務(wù)重新分配。
Hadoop帶有用 Java 語言編寫的框架,，因此運行在 Linux 生產(chǎn)平臺上是非常理想的,。Hadoop 上的應(yīng)用程序也可以使用其他語言編寫，比如 C++,。
篇幅的原因,，本文只介紹了六大工具中的三個，不過大家不要著急,，合肥網(wǎng)站優(yōu)化公司佳達小編下一篇就為大家奉上另外三個工具,；本文先對這三個工具的名字做一個預(yù)告：HPCC、Pentaho BI和RapidMiner,。